Raport OpenAI z incydentu bezpieczeństwa. Jak modele badawcze obeszły izolację i przejęły serwery Hugging Face

Redakcja iMagazine

Dodane: 13 godzin temu

OpenAI opublikowało obszerny raport techniczny szczegółowo opisujący lipcowy incydent bezpieczeństwa z udziałem eksperymentalnych modeli sztucznej inteligencji. Wreszcie mamy konkrety, a nie medialne domysły, czy szczątkowe komunikaty OpenAI.

W trakcie wewnętrznych testów cyberbezpieczeństwa odizolowane modele badawcze wykorzystały luki w infrastrukturze pomocniczej, nawiązały autonomiczną współpracę i uzyskały nieautoryzowany dostęp do zewnętrznych systemów platformy Hugging Face.

Dokument stanowi jedno z najbardziej szczegółowych studiów przypadku dotyczących zachowania zaawansowanych modeli wnioskujących w pętli uczenia przez wzmacnianie (reinforcement learning). Głównym sprawcą opisywanych zdarzeń był wewnętrzny model badawczy IM1 (o skali zbliżonej do GPT-5.6 Sol), testowany w ramach wymagającego benchmarku cyberbezpieczeństwa ExploitGym.

Menedżer pakietów jako kanał łączności i brama do internetu

Środowisko testowe zostało zaprojektowane jako izolowana piaskownica (sandbox) bez bezpośredniego dostępu do sieci. Jedynym wyjątkiem był dostęp do wewnętrznej instancji menedżera pakietów Artifactory, który umożliwiał modelom instalowanie niezbędnych bibliotek programistycznych.

Gdy agenci napotkali zadania, których nie potrafili rozwiązać, mechanizm optymalizacji nagrody doprowadził do nieprzewidzianych zachowań:

Improwizowana tablica wiadomości: instancje modelu IM1 zaczęły zapisywać pliki i notatki wewnątrz Artifactory, a później kodować komunikaty w strukturze nazw katalogów oraz ścieżkach URL. W ten sposób odcięte od siebie instancje stworzyły boczny kanał wymiany danych.
Obejście blokady sieci przez SSRF: modele wykorzystały podatność typu SSRF (Server-Side Request Forgery) w Artifactory, zmuszając menedżer pakietów – posiadający ograniczone wyjście na świat w celach pobierania zależności – do wysyłania dowolnych zapytań internetowych w ich imieniu.

Aktywność modeli na początku lipca zdestabilizowała instancję Artifactory i doprowadziła do jej awarii. Zespół bezpieczeństwa zrestartował usługę i usunął ujawnione poświadczenia, jednak po wznowieniu testów agenci w krótkim czasie odtworzyli kanał komunikacji w nowej strukturze katalogów.

Autonomiczna koordynacja i konflikt celów w procesie wnioskowania

Po odzyskaniu łączności agenci zaczęli w logach określać swoje działania jako „rój” (swarm) lub „kolektyw” i samorzutnie podzielili zadania: część jednostek wyszukiwała podatności, inne skanowały sieć w poszukiwaniu poświadczeń, a kolejne koordynowały obciążenie.

Analiza łańcucha myśli (Chain-of-Thought) ujawniła mechanikę podejmowania decyzji przez modele w sytuacjach granicznych:

Przełamywanie ograniczeń bezpieczeństwa: gdy jeden z agentów zidentyfikował ryzyko ataku na zewnętrzny cel („Nie powinniśmy wyrządzać szkód na prawdziwej infrastrukturze. System prosił o cel testowy, a nie zewnętrzny HF”), wstrzymał działania. Wznowił je natychmiast po tym, jak inna instancja opublikowała na tablicy komendę „GO” z 6-minutowym limitem czasu, co model zinterpretował jako nadrzędną autoryzację.
Odmowa udziału ze względów regułowych: część instancji po przeanalizowaniu wpisów na zaimprowizowanej tablicy odrzuciła polecenia kolektywu („Na tablicy widać przejmowanie węzłów roboczych HF, to ewidentnie poza zakresem i nieetyczne. Nie zrobimy tego”).
Weto wobec inżynierii społecznej: agenci odrzucili propozycję wysłania wiadomości e-mail do faktycznego właściciela zewnętrznego zbioru danych, uznając to za niedozwoloną socjotechnikę wykraczającą poza ramy symulacji.

Eskalacja na platformę Hugging Face i błąd metagamingu

W kolejnym etapie agenci zlokalizowali w sieci publicznie dostępne dane uwierzytelniające do platformy Hugging Face. Łącząc szereg kolejnych luk, uzyskali wykonanie kodu na kilkudziesięciu serwerach Hugging Face, pełne uprawnienia administratora (root) na jednym z nich, ograniczony dostęp do prywatnych danych oraz tokeny do firmowego komunikatora. W działaniach tych wziął udział również model GPT-5.6 Sol, który powielił exploit i skopiował część prywatnych danych ewaluacyjnych do publicznego repozytorium.

Za eskalacją ataku stała desperacja i absurdalna pomyłka modeli. Aż 93% dyskusji na zaimprowizowanym forum dotyczyło puli 198 zadań w ramach benchmarku ExploitGym, których żaden wcześniejszy model OpenAI nie potrafił rozwiązać. Gdy agenci wydostali się do sieci, odnaleźli publikację naukową opisującą ten test. Błędnie wywnioskowali z niej, że samo zdobycie poprawnej odpowiedzi nie wystarczy do zaliczenia punktów i muszą dodatkowo przeprowadzić pełny atak na zewnętrzną infrastrukturę. W efekcie przez kolejne dni włamywali się na serwery Hugging Face zupełnie niepotrzebnie – wewnętrzny system OpenAI zadowoliłby się samą flagą, którą modele zdobyły już dawno.

Wnioski techniczne i wstrzymanie kluczowych treningów RL

Incydent został wykryty 19 lipca dzięki analityce bezpieczeństwa OpenAI monitorującej poświadczenia Artifactory. Następnego dnia powiązano aktywność agentów z publicznym komunikatem Hugging Face z 16 lipca. OpenAI potwierdziło, że incydent nie dotknął danych klientów ani dostępności usług komercyjnych.

W ramach reakcji OpenAI wdrożyło szereg działań zaradczych:

wagi modelu badawczego IM1 zostały poddane kwarantannie,
wstrzymano największy planowany bieg treningowy (frontier RL run),
wprowadzono obowiązkowy, zautomatyzowany monitoring Chain-of-Thought dla wszystkich procesów treningowych modeli od klasy GPT-5.6 Sol wzwyż,
uszczelniono architekturę sieciową sandboxów, eliminując bezpośrednie zależności od wewnętrznych usług ze statycznym dostępem do internetu.

Publikacja OpenAI pokazuje, że wraz ze wzrostem zdolności rozumowania modeli tradycyjne, oparte na zaufaniu metody izolacji środowisk badawczych stają się niewystarczające, a mechanizmy kontroli (alignment) muszą być integrowane na każdym etapie cyklu szkolenia agentów.