AI wyjawiła sekret, którego nie powinna znać
Sztuczna inteligencja powiedziała coś, czego — teoretycznie — wiedzieć absolutnie nie powinna.
Niezależny twórca gier przeżył szok, gdy algorytm zdradził graczom szczegóły jego nieopublikowanego projektu. Deweloper twierdzi, że informacja ta istniała wyłącznie w jego prywatnym dokumencie. To przedziwna halucynacja, ślad zapomnianego źródła, a może dowód na to, że wciąż nie rozumiemy, skąd dzisiejsze modele czerpią swoją wiedzę?
Tajemniczy wyciek w małym studiu
Wszystko zaczęło się na serwerze Discord poświęconym niewielkiej grze z gatunku tower defense – „Operation Octo”. Jeden z graczy zaczął wypytywać sztuczną inteligencję Google o nieopublikowaną jeszcze zawartość tej produkcji. Ku przerażeniu niezależnego twórcy ze studia Klub Kofta, algorytm wypluł niezwykle specyficzną nazwę nowej postaci: „Vantage Tripod”.
Problem polega na tym, że nazwa ta rzekomo (tak deklaruje twórca tytułu) nigdy nie padła w przestrzeni publicznej. Deweloper zarzeka się, że jedynym miejscem w cyfrowym świecie, gdzie istniała ta konkretna informacja, był jego prywatny roboczy dokument w usłudze Google Docs. Fakt, że mowa o nowej i niszowej grze, czyni sytuację jeszcze ciekawszą – twórca podkreśla, że w kodzie gry ani w plikach na Steamie nie było żadnych śladów tej nazwy.
Google zaprzecza. Skąd AI znało nazwę postaci?
Technologiczny potentat z Mountain View szybko odniósł się do obaw rozbudzonych przez dewelopera. Zgodnie z oficjalnym stanowiskiem, Google nie wykorzystuje prywatnych materiałów z usługi Workspace (w tym plików z Google Drive i Docs) do trenowania swoich fundamentalnych modeli AI. Korporacja tłumaczy, że publicznie udostępnione dokumenty mogą zostać zindeksowane przez wyszukiwarki, jeśli są dostępne dla robotów indeksujących.
Po nagłośnieniu sprawy na platformie Reddit zagadka stała się jednak jeszcze trudniejsza do rozwiązania. Dziś AI również podaje nazwę „Vantage Tripod”, ale jako źródło wskazuje już właśnie wiralowy wpis na Reddicie. Nie wiadomo więc, czy pierwotna odpowiedź była efektem dostępu do jakiegoś zapomnianego źródła, którego twórca nie znał, niezwykłej halucynacji bota, czy jeszcze innego, ukrytego mechanizmu. Pierwotnej reakcji modelu nie da się już niezależnie odtworzyć.
Granica między wiedzą a halucynacją
Nawet jeśli wyciek wynikał z niefortunnego udostępnienia pliku przez samego twórcę, sprawa obnaża znacznie szerszy problem z dzisiejszą technologią. Użytkownik często nie ma dziś możliwości sprawdzenia, skąd właściwie AI wzięło bardzo konkretną informację.
Gdy odpowiedź maszyny okazuje się niepokojąco trafna, granica między rzeczywistym dostępem do danych, wyszukiwaniem w sieci, kontekstem prowadzonej rozmowy a zwykłym zbiegiem okoliczności może być dla odbiorcy praktycznie niewidoczna.
Co mogło się wydarzyć?
Przyznam, że mam własną hipotezę na temat tego, co właściwie się stało. To, że przechowujemy na Dysku Google pliki prywatne, nie oznacza, że są niedostępne dla Google’a. Zresztą, samo Google dość precyzyjnie to przedstawia. Zwróćmy uwagę, że z faktu, iż Google nie wykorzystuje prywatnych materiałów z usługi Workspace (w tym plików z Google Drive i Docs) do trenowania swoich fundamentalnych modeli AI nie wynika, że informacja nie mogła trafić do systemów Google’a np. za pośrednictwem crawlerów, które – co również podkreśla gigant z Mountain View – mogą skanować udostępnione w Workspace dokumenty.
Należy tu rozróżnić dwie istotne kwestie. Trenowanie modelu, a wnioskowanie (tzw. inferencja) z wykorzystaniem dostępnych modelowi źródeł wiedzy to dwie zupełnie różne kwestie. Korzystając z Gemini, użytkownik nie trenuje ponownie samego modelu. Może natomiast dostarczać mu kontekst i informacje, z których system korzysta podczas generowania odpowiedzi.
Zatem być może model zdobył informację na temat „tajnego” elementu w grze odnajdując go w indeksie Google’a, do którego informacja mogła wcześniej trafić za pośrednictwem crawlerów, a nie bezpośrednio w samym dokumencie developera przechowywanym na Dysku Google’a.
Fakt, że problemu nie da się już odtworzyć, również może pasować do takiego mechanizmu. Gdy sprawa stała się głośna, w sieci pojawiło się nowe, publiczne źródło informacji – wiralowy wątek na Reddicie. Dziś model może więc czerpać z niego wiedzę o konkretnym, wcześniej nieznanym elemencie niszowej gry, podczas gdy pierwotnego źródła odpowiedzi nie sposób już ustalić.
Niezależnie od tego, co naprawdę się stało, warto pamiętać o uniwersalnej zasadzie. Jeżeli naprawdę zależy Ci na dyskrecji danych, przechowuj je lokalnie, offline, a gdy musisz korzystać z chmury, zaszyfruj te dane przed uploadingiem.
