Apple ujawnia braki w modelach AI
Zespół badawczy Apple ujawnił poważne braki w zdolnościach rozumowania modeli językowych AI, zgodnie z nowym badaniem opublikowanym na arXiv.
Apple oceniło wiodące modele, w tym te od OpenAI i Meta, pod kątem zadań matematycznego rozumowania. Okazało się, że nawet niewielkie zmiany w sformułowaniu pytań mogą prowadzić do znacznych różnic w wynikach, podważając ich niezawodność.
Nie znaleźliśmy żadnych dowodów na formalne rozumowanie w modelach językowych. Ich zachowanie jest lepiej wyjaśnione przez wyrafinowane dopasowywanie wzorców – tak delikatne, że zmiana nazw może zmienić wyniki o ~10%.
– to podsumowuje częste stosowanie nad wyraz rzeczownika „inteligencja”.
Badanie pokazuje, że modele AI bardziej polegają na dopasowywaniu wzorców niż na prawdziwym rozumowaniu logicznym. Na przykład dodanie nieistotnych szczegółów do prostego zadania matematycznego wpłynęło na wyniki modeli, mimo że te informacje nie miały związku z rozwiązaniem.
Apple sugeruje, że przyszłe modele AI mogą wymagać połączenia sieci neuronowych z tradycyjnym, symbolicznym rozumowaniem, aby poprawić precyzję i niezawodność w zadaniach wymagających logicznego myślenia.
W badaniu nie ma ani słowa o Apple Intelligence.
Z pełnym raportem z badania możecie zapoznać się tutaj.
Krzysztof Kołacz
🎙️ O technologii i nas samych w podcaście oraz newsletterze „Bo czemu nie?”. ☕️ O kawie w podcaście „Kawa. Bo czemu nie?”. 🏃🏻♂️ Po godzinach biegam z wdzięczności za życie.
