Wojsko USA o włos od abordażu chińskiego statku. Zawiódł raport wygenerowany przez sztuczną inteligencję
Amerykańskie siły zbrojne niemal dokonały zbrojnego abordażu chińskiego statku towarowego.
Powód? Wygenerowany przez bota w pełni fałszywy raport wywiadowczy, który błędnie zidentyfikował przewożony ładunek jako tajne komponenty nuklearne.
Jak ujawniła stacja CNN, a opisał serwis Ars Technica, incydent miał miejsce wiosną tego roku, w trakcie wojny z Iranem. Analityk amerykańskiego Dowództwa Operacji Specjalnych (US SOCOM) użył niezidentyfikowanego chatbota do przeanalizowania dokumentacji ładunku chińskiej jednostki. Narzędzie połączyło ogólnodostępne dane z tajnymi informacjami wywiadu elektronicznego, w efekcie „wnioskując”, że statek przewozi elementy programu nuklearnego. Wojsko rozpoczęło przygotowania do przechwycenia jednostki przy wsparciu lotnictwa.
Według informacji CNN analityk użył sztucznej inteligencji po raz drugi, by zamienić otrzymane ustalenia w standardowy raport wojskowy. Tak sformatowany dokument trafił do oficjalnego obiegu i zaczął krążyć w amerykańskim wojsku. Błąd wykryto dopiero w ostatniej chwili, przerywając akcję (CNN nie dotarło do informacji, co faktycznie znajdowało się na pokładzie statku). Jedno ze źródeł CNN podsumowało sytuację stwierdzeniem, że pomyłka maszyny „o mały włos nie wywołała wojny”.
Pentagon ufa maszynom
Choć nie wiadomo, czy analityk korzystał z narzędzia komercyjnego, czy rządowego, incydent doskonale obrazuje ryzyko halucynacji AI w sytuacjach krytycznych. Mimo to Departament Obrony USA (DoD) mocno przyspiesza wdrażanie dużych modeli językowych. W grudniu ubiegłego roku podstawą wojskowej platformy GenAI.mil stał się system Gemini for Government, a w zeszłym miesiącu dodano do niej model Grok. Przedstawiciel Pentagonu w czerwcu pochwalił się przed Kongresem, że z tych narzędzi skorzystało już 1,5 miliona pracowników wojska.
Amerykańskie służby mają do dyspozycji również dostosowaną wersję modelu Claude od firmy Anthropic. Co ciekawe, w marcu Departament Obrony wpisał tę firmę na czarną listę po tym, jak sprzeciwiła się ona wykorzystywaniu jej modeli w autonomicznych systemach uzbrojenia (w zeszłym miesiącu sędzia federalny uznał tę decyzję za bezprawny odwet).
Deklaracja Departamentu Stanu z 2023 roku wzywała do zachowania odpowiedzialności i obecności „człowieka w pętli decyzyjnej” przy obsłudze systemów AI. Przypadek z chińskim statkiem pokazuje jednak, że nawet przy ludzkim nadzorze zaufanie do cyfrowego asystenta potrafi być bardzo zwodnicze, a wygenerowany maszynowo dokument może łatwo uwiarygodnić niebezpieczny błąd.
