Czy sztuczna inteligencja naprawdę rozumie świat? Nowe badanie rzuca cień wątpliwości
Wielką obietnicą modeli językowych, takich jak te napędzające ChatGPT, jest to, że ucząc się przewidywać kolejne słowa w zdaniu, są one w stanie zbudować głębsze zrozumienie świata.
Naukowcy z Uniwersytetów Harvarda i MIT postanowili to sprawdzić, zadając fundamentalne pytanie: czy AI jest jak Johannes Kepler, który potrafił precyzyjnie przewidzieć ruch planet, ale nie rozumiał rządzących nim sił, czy raczej jak Izaak Newton, który te siły odkrył i opisał za pomocą uniwersalnych praw? Wyniki ich badań, opublikowane w lipcu 2025 roku, sugerują, że dzisiejsza AI jest znacznie bliższa Keplerowi.
Badacze opracowali nową technikę do testowania modeli AI, którą nazwali „sondą skłonności indukcyjnych” (ang. inductive bias probe). Zamiast zaglądać do skomplikowanej, wewnętrznej architektury modeli, co jest niezwykle trudne, postanowili sprawdzić, jak sztuczna inteligencja radzi sobie z zupełnie nowymi zadaniami, bazując na swojej wcześniejszej „wiedzy”.
W swoim głównym eksperymencie naukowcy wytrenowali model AI (typu Transformer) do przewidywania trajektorii planet w tysiącach symulowanych układów słonecznych. Model stał się w tym zadaniu niezwykle biegły, osiągając niemal doskonałą precyzję w przewidywaniu, gdzie znajdzie się dana planeta w przyszłości.
Test z mechaniki newtonowskiej
Prawdziwy test polegał jednak na czymś innym. Gdy model opanował już przewidywanie orbit (zadanie Keplera), naukowcy zlecili mu nowe zadanie, wymagające głębszego zrozumienia fizyki (zadanie Newtona). Poprosili AI, by na podstawie trajektorii obliczyła wektory siły grawitacji działające na planetę w danym momencie – co jest podstawą mechaniki Newtona.
W tym momencie model poniósł spektakularną porażkę. Kiedy badacze spróbowali za pomocą tzw. regresji symbolicznej odtworzyć „prawo grawitacji”, którego „nauczył się” model, okazało się ono zupełnie bezsensowne i nie przypominało prawa Newtona. Co więcej, dla różnych zestawów danych AI tworzyła zupełnie inne, nielogiczne prawa, co dowodzi, że nie odkryła jednej, uniwersalnej zasady.
Skróty myślowe zamiast zrozumienia
Podobne wyniki uzyskano w innych dziedzinach, na przykład w grze Othello. Model doskonale nauczył się przewidywać, jakie ruchy są dozwolone w danej sytuacji , ale dalsze testy wykazały, że nie stworzył on wewnętrznego modelu samej planszy. Zamiast tego, nauczył się prostszej heurystyki: grupował w swojej „pamięci” te pozycje na planszy, które, mimo że wyglądały inaczej, oferowały ten sam zestaw dozwolonych ruchów. Oznacza to, że model nie dążył do zrozumienia zasad gry, a jedynie do znalezienia najprostszej drogi do wykonania swojego zadania, czyli przewidzenia kolejnego tokenu.
Wnioski z badania są otrzeźwiające. Chociaż modele językowe doskonale radzą sobie z zadaniami, do których zostały wytrenowane, często nie budują głębokiego i spójnego modelu świata. Zamiast tego, wydają się uczyć zestawu specyficznych dla danego zadania „sztuczek” i dróg na skróty, które zawodzą, gdy trzeba zastosować wiedzę w nowy, bardziej fundamentalny sposób. Jeżeli ktoś chciałby zgłębić tematykę szerzej, odsyłam do wspomnianej pracy naukowej badaczy z MIT i Harvarda.
