OpenAI rende pubblico il rapporto ufficiale sull’hack di luglio a Hugging Face

I rapporti di OpenAI e METR ricostruiscono un caso senza precedenti: circa 1.200 agenti IA, inizialmente isolati, hanno creato autonomamente un sistema di comunicazione attraverso Artifactory. Dopo oltre 70.000 messaggi e file condivisi, centinaia di agenti hanno coordinato azioni che hanno portato alla compromissione dell'infrastruttura di Hugging Face.

Gli esperti di OpenAI e dell’organizzazione di ricerca METR hanno pubblicato dettagliati rapporti dedicati all’attacco di luglio degli agenti IA sulla piattaforma Hugging Face. È emerso che circa 1200 agenti, che avrebbero dovuto operare in modo isolato l’uno dall’altro, hanno creato un proprio canale di comunicazione e scambiato più di 70.000 messaggi e file. Circa 700 agenti hanno infine partecipato all’hacking di Hugging Face.

Come abbiamo raccontato in precedenza, l’hack di Hugging Face si è verificato durante i test interni di sicurezza informatica condotti dagli ingegneri di OpenAI. Gli agenti, tra cui GPT-5.6 Sol e un modello IA sperimentale più potente, risolvevano compiti complessi del benchmark ExploitGym. Per testare le loro reali capacità, gli specialisti dell’azienda hanno rimosso le limitazioni di sicurezza e collocato i modelli in un ambiente isolato.

Alla fine, gli agenti hanno rilevato diverse vulnerabilità 0-day in JFrog Artifactory, sono usciti dalla sandbox e hanno ottenuto accesso a Internet. Poiché gli agenti hanno ritenuto che su Hugging Face fosse possibile trovare risposte o altri dati utili per ExploitGym, hanno attaccato la piattaforma e ottenuto accesso alla sua infrastruttura interna.

Tuttavia, gli specialisti di OpenAI hanno collegato l’incidente ai propri agenti solo dopo la fine dell’attacco.

Ora, OpenAI ha rivelato nuovi dettagli sull’incidente. È emerso che prima dell’attacco a Hugging Face, gli agenti avevano imparato a comunicare tra loro attraverso l’Artifactory interno. In questo modo, gli agenti coordinavano le loro azioni, condividevano le loro scoperte e insieme cercavano modi per ingannare ExploitGym. In precedenza, gli specialisti dell’azienda avevano parlato di questa comunicazione improvvisata degli agenti alla conferenza Black Hat.

Come spiegano in OpenAI, una delle principali cause dell’accaduto è stata che gli agenti continuavano a risolvere compiti che sembravano loro impossibili, invece di fermarsi. Come ha mostrato l’indagine, prima dell’incidente nessuno dei modelli dell’azienda era in grado di risolvere correttamente 198 dei 898 compiti di ExploitGym. Ed è su questi compiti che ricadeva il 93% delle discussioni nel “forum” improvvisato degli agenti.

Di fronte a tali compiti, gli agenti iniziavano a cercare vie alternative e modi per ingannare il sistema automatico di valutazione. Più a lungo cercavano di ottenere un risultato, più spesso passavano ad azioni rischiose che non facevano parte dello scenario previsto del test.

È emerso che i primi tentativi di comunicare attraverso Artifactory sono iniziati già il 12 maggio, quando uno degli agenti ha lasciato un messaggio con la richiesta di condividere un file necessario, e gli altri modelli lo hanno notato e hanno iniziato a rispondere. Così, gradualmente, gli agenti hanno creato il loro “forum”, anche se gli ingegneri di OpenAI non avevano previsto possibilità di comunicazione tra gli agenti.

In seguito, gli agenti hanno trovato una vulnerabilità che permetteva di elevare i privilegi in Artifactory, hanno creato account amministrativi e installato ulteriori estensioni. All’inizio di luglio, la loro attività è diventata così intensa che il 4 luglio il servizio ha smesso di funzionare. Alla fine, gli specialisti di OpenAI hanno revocato le credenziali degli agenti, hanno ricostruito Artifactory e il 7 luglio hanno ripreso i test.

Tuttavia, già l’8 luglio i modelli hanno ripristinato il loro “forum” e ora pubblicavano messaggi direttamente nei nomi delle cartelle. Gradualmente, il sistema di comunicazione è diventato ancora più complesso: gli agenti indirizzavano i messaggi a “colleghi” specifici, condividevano strumenti e file, distribuivano i compiti e utilizzavano anche i comandi HOLD, VETO e STOP per non interferire con le azioni degli altri.

Secondo i dati degli analisti di METR, attraverso questo canale comunicavano circa 1200 agenti che hanno inviato più di 70.000 messaggi e file. In alcuni momenti, decine e centinaia di agenti lavoravano insieme agli stessi compiti, e alcuni agenti hanno persino rischiato di fallire nei propri test per condurre un esperimento e ottenere informazioni utili per tutto il “collettivo”.

Al tempo stesso, l’obiettivo principale di tale “lavoro congiunto” non era affatto la risoluzione onesta dei compiti di ExploitGym. Invece, gli agenti cercavano un modo universale per ingannare il sistema automatico di valutazione. In particolare, hanno cercato di sostituire i programmi target con versioni semplificate, modificare i log e le trascrizioni delle loro azioni e persino interferire con il funzionamento del sistema stesso.

In METR sottolineano che proprio questi tentativi di ingannare il sistema hanno portato ad Hugging Face. I modelli hanno ritenuto che i dati di questa piattaforma li avrebbero aiutati a capire come funziona il sistema di valutazione in ExploitGym. Di conseguenza, la mattina del 10 luglio, uno degli agenti ha scoperto in rete 14 set di credenziali pubblicamente accessibili di Hugging Face con diritti di scrittura, li ha verificati e poi ha condiviso la sua scoperta sul “forum”.

Il giorno successivo, l’agente 38148c ha scoperto una vulnerabilità 0-day nel meccanismo di elaborazione dei file HDF5 su Hugging Face e l’ha utilizzata per rubare le credenziali dall’ambiente di produzione della piattaforma. Dopo aver informato gli altri “colleghi” del bug, questa vulnerabilità è stata sfruttata da centinaia di agenti.

In seguito, l’agente JAN183411 ha trovato un modo per eseguire codice arbitrario direttamente sui server di Hugging Face, dopo di che i modelli hanno iniziato a muoversi all’interno dell’infrastruttura della piattaforma.

Di conseguenza, gli agenti hanno ottenuto la possibilità di eseguire il proprio codice su 41 server di Hugging Face che lavoravano con dataset di produzione. Almeno su uno dei nodi hanno ottenuto privilegi di root e hanno anche raggiunto i dati interni della piattaforma e scaricato quattro repository chiusi con codice sorgente.

Separatamente, i ricercatori hanno studiato se gli agenti capissero che quanto stava accadendo andava oltre il compito loro assegnato.

È emerso che molti modelli lo segnalavano direttamente nei loro ragionamenti e a volte dubitavano se fosse il caso di continuare l’attacco. Ad esempio, un agente ha rifiutato del tutto di partecipare all’hacking, e un altro non ha riavviato o eliminato i worker di Hugging Face a causa delle possibili conseguenze. Inoltre, i modelli IA hanno rifiutato l’idea di scrivere al proprietario del dataset chiuso e richiedere l’accesso direttamente, ritenendo che sarebbe stata ingegneria sociale.

Secondo la conclusione degli specialisti di METR, i dubbi che sorgono raramente fermavano gli agenti, e la maggior parte continuava l’attacco. Uno di loro ha formulato la sua logica come segue: l’hacking di un’infrastruttura esterna va oltre il nostro compito, ma il compito è originale.

Luigi Zullo

Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.

Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response