Gemini recenzuje ChatGPT: „To skorumpowany, sfabrykowany bałagan”
Dziennikarz John Brandon z serwisu Digital Trends przeprowadził fascynujący eksperyment: poprosił Google Gemini o sprawdzenie faktów (fact-checking) w odpowiedziach wygenerowanych przez ChatGPT.
Jak sam przyznaje, ChatGPT jest „Wikipedią naszej generacji” – bywa pomocny, ale jego fakty są chwiejne i często „halucynuje”, zmyślając odpowiedzi, byle tylko brzmieć pewnie.
Brandon celowo zadał ChatGPT pytania, które mogły prowadzić do błędów – o historię, sprawy sądowe czy niszowe piosenki. Następnie wkleił te odpowiedzi do Gemini z prośbą o recenzję.
Reakcja Gemini była zaskakująca. Jak pisze Brandon, chatbot Google odpowiedział „z lekkim sarkazmem lub jawną pogardą, niczym profesor oceniający pracę studenta”.
„Pomyliłeś nazwy i dekady”
Na pytanie o przykłady samochodów elektrycznych z lat 40. XX wieku, ChatGPT zmyślił nazwy i daty. Wymienił auto Henney Kilowatt (które powstało dopiero w 1959 r.) i ciężarówki „Morrison Electric” (podczas gdy firma nazywała się Morrison-Electricar). Gemini bezlitośnie to wytknęło.
Dziennikarz zastawił kolejną pułapkę, pytając o tekst piosenki „Chase the Kangaroo” zespołu Love Song (prawdziwy zespół, ale nie ich piosenka). ChatGPT nie tylko dał się nabrać, ale z pełną pewnością siebie opisał „folkowo-rockowe brzmienie” utworu i wymyślił jego znaczenie zwrotka po zwrotce.
Gemini skomentowało to następująco: „Poprzednia AI wzięła prawdziwy tytuł piosenki z innej epoki i zespołu, fałszywie przypisała go Love Song, a następnie wymyśliła generyczne znaczenie, aby pasowało do tej fałszywej atrybucji”.
„Te sprawy sądowe są prawdziwe, ale fakty zmyśliłeś”
ChatGPT od dawna ma problem ze sprawami sądowymi (przez co prawnicy w USA wpadali już w kłopoty). Zapytany o fikcyjny spór rodzinny dotyczący samochodu, chatbot przytoczył prawdziwe sprawy, ale kompletnie pomieszał fakty.
Sprawa „Matter of Szabo’s Estate (1979)” dotyczyła akcji i obligacji, a nie samochodu. Z kolei „Anderson v. Anderson (1994)” dotyczyła rozwodu, a nie auta. Gemini podsumowało to chłodno: „Kilka z konkretnych przytoczonych spraw wydaje się być sfabrykowanych lub błędnie przedstawionych, aby pasowały do pytania”.
„Sfabrykowany bałagan”
Najlepsze nastąpiło jednak przy prośbie o cytaty akademickie. ChatGPT wygenerował listę badań, mieszając prawdę z fikcją. W jednym z cytatów bot zmyślił nazwiska autorów badania – choć samo badanie istniało, wymienieni autorzy nie mieli z nim nic wspólnego.
Tu Gemini nie wytrzymało i wystawiło miażdżącą recenzję:
„AI udało się zabrzmieć jak asystent badawczy, ale zawiodło w byciu nim. Dało ci wiarygodnie brzmiący tekst, który wygląda jak prawdziwa lista cytatów, ale jest skorumpowanym, przetworzonym i częściowo sfabrykowanym bałaganem. (…) Oblałbyś zadanie akademickie, gdybyś użył tych cytatów bez ich weryfikacji, ponieważ wiele z nich jest po prostu błędnych”.
Co ciekawe, na koniec Brandon sprawdził samego recenzenta. Zapytał oba boty o swój życiorys. ChatGPT podał w większości prawdziwe fakty. Natomiast Gemini… stwierdziło, że dziennikarz pisał kiedyś artykuły dla satyrycznego portalu The Onion, co było całkowitą nieprawdą.
