Sztuczna inteligencja kłamie, bo tak ją nauczono. OpenAI przyznaje się do fundamentalnego błędu
„Halucynacje” sztucznej inteligencji, czyli jej skłonność do zmyślania faktów i podawania fałszywych informacji, to jeden z największych problemów hamujących rozwój tej technologii.
Teraz badacze z OpenAI, twórcy ChataGPT, ogłosili, że prawdopodobnie znaleźli źródło tego problemu. Wnioski są zaskakujące: to nie wina samej technologii, ale fundamentalny błąd w sposobie, w jaki jest ona trenowana.
Kluczowy menedżer od projektu Siri odchodzi z Apple. To on stał za opóźnioną sztuczną inteligencją
W najnowszej publikacji naukowcy z OpenAI wyjaśniają, że duże modele językowe (LLM) zachowują się jak dobrzy uczniowie na teście. Systemy oceniające, które stosuje się w procesie ich trenowania, nagradzają udzielenie jakiejkolwiek odpowiedzi. Zgadnięcie, nawet jeśli odpowiedź jest błędna, jest statystycznie bardziej opłacalne niż przyznanie się do niewiedzy. Model AI, który odpowie „nie wiem”, zawsze zostanie oceniony negatywnie, podczas gdy odpowiedź zmyślona ma przynajmniej szansę okazać się trafna.
W ten sposób, poprzez tę presję statystyczną, modele językowe są od samego początku zachęcane do zgadywania i konfabulowania, zamiast do sygnalizowania niepewności. Mamy tu do czynienia z poważnym błędem strukturalnym w metodologii treningu, który popełniła zarówno OpenAI, jak i cała branża podążająca jej śladem.
Na szczęście, wraz z diagnozą pojawia się propozycja rozwiązania. OpenAI sugeruje, że istnieje proste wyjście z tej sytuacji. Kluczem ma być zmiana systemu oceniania. Nowa metoda miałaby znacznie surowiej karać za podawanie błędnych odpowiedzi z dużą pewnością siebie, a jednocześnie nagradzać (np. częścią punktów) za uczciwe przyznanie się do braku wiedzy lub wyrażenie niepewności. Jeśli główne systemy rankingowe przestaną nagradzać szczęśliwe strzały, modele wreszcie nauczą się nie zgadywać.
Czy ta zmiana faktycznie powstrzyma falę dezinformacji generowanej przez AI? Czas pokaże. Firma przyznaje, że halucynacje pozostają fundamentalnym wyzwaniem dla wszystkich dużych modeli językowych, ale jednocześnie zapewnia, że ciężko pracuje, aby je dalej redukować. Dla użytkowników oznacza to nadzieję, że w przyszłości rozmowy z AI będą wreszcie oparte na faktach, a nie na kreatywnej fikcji.
Poufne wyznania pacjentów trafiają do ChatGPT. Niektórzy terapeuci używają AI w tajemnicy
