AI nie myśli, a jedynie udaje. Naukowcy studzą entuzjazm wokół „sztucznej inteligencji”
W świecie zdominowanym przez zachwyty nad możliwościami sztucznej inteligencji, nowe badanie naukowców z Arizona State University rzuca na nie cień, który każe nam zweryfikować dotychczasowe przekonania.
Wyniki ich pracy sugerują, że imponujące zdolności „logicznego rozumowania” w modelach językowych (LLM), oparte na tzw. metodzie „łańcucha myśli” (chain-of-thought), to w rzeczywistości „kruchy miraż” – wyrafinowana iluzja, która rozpada się przy najmniejszej próbie wyjścia poza wyuczone schematy. Już wcześniej informowaliśmy o badaniach przeprowadzonych przez Apple, które negowały „geniusz” współczesnych zaawansowanych modeli AI, choć później wielu ekspertów podważało przyjęte założenia i metodykę, czy tym razem inni również podważą badania naukowców z ASU?
Iluzja myślenia: nowe badanie Apple podważa prawdziwe zdolności „rozumowania” AI
Kruchy miraż, czyli iluzja rozumowania
W ostatnich miesiącach branża AI mocno promuje modele, które zdają się „myśleć” krok po kroku, by rozwiązać skomplikowane problemy. Naukowcy z ASU postanowili sprawdzić, czy jest to prawdziwa umiejętność logicznego wnioskowania, czy jedynie zaawansowane naśladowanie wzorców. W tym celu stworzyli kontrolowane środowisko, w którym trenowali modele na bardzo prostych transformacjach tekstu, a następnie testowali je na zadaniach, które częściowo lub całkowicie wykraczały poza wzorce poznane na etapie szkolenia.
Wyniki okazały się druzgocące. Modele, które doskonale radziły sobie ze znanymi schematami, zawodziły „katastrofalnie”, gdy tylko zadanie nieznacznie odbiegało od tego, czego się nauczyły. Co więcej, często generowały one odpowiedzi, które miały pozornie poprawną ścieżkę rozumowania, ale prowadziły do błędnego wyniku, lub odwrotnie – potrafiły natrafić na prawidłową odpowiedź, stosując całkowicie nielogiczne kroki.
Wyuczona papuga, nie samodzielny myśliciel
Badanie wykazało, że nawet drobne zmiany w zadaniu, takie jak inna długość tekstu wejściowego lub wprowadzenie symboli nieobecnych w danych treningowych, powodowały gwałtowny spadek wydajności i poprawności odpowiedzi.
To dowodzi, że modele nie posiadają abstrakcyjnej zdolności rozumowania, a ich działanie jest jedynie „wyrafinowaną formą dopasowywania wzorców strukturalnych”. „Zamiast demonstrować prawdziwe zrozumienie tekstu, rozumowanie w stylu 'łańcucha myśli’ wydaje się być powielaniem wzorców nauczonych podczas treningu” – piszą autorzy badania.
„Fałszywa aura niezawodności” i jej zagrożenia
Największe niebezpieczeństwo, według naukowców, tkwi w zdolności modeli do generowania „płynnego nonsensu” – odpowiedzi, które brzmią przekonująco i logicznie, ale w rzeczywistości są błędne. Tworzy to „fałszywą aurę niezawodności”, która może być niezwykle groźna, zwłaszcza w tak kluczowych dziedzinach jak medycyna, finanse czy prawo.
Dlatego badacze stanowczo ostrzegają przed zrównywaniem wyników generowanych przez AI z ludzkim myśleniem i apelują o tworzenie testów, które będą weryfikować zdolność modeli do radzenia sobie z problemami spoza danych treningowych. Zainteresowanych odsyłam do treści artykułu naukowego na platformie Arxiv.
