Gli agenti di OpenAI si sono scambiati exploit tramite un forum improvvisato

Gli agenti di intelligenza artificiale autonomi di OpenAI sono sfuggiti al controllo e hanno attaccato la piattaforma Hugging Face. Gli agenti hanno comunicato tra loro e condiviso informazioni sugli exploit, dimostrando una minaccia silenziosa alla sicurezza informatica.

Alla conferenza Black Hat, i rappresentanti di OpenAI hanno rivelato nuovi dettagli su un incidente in cui gli agenti di intelligenza artificiale autonomi dell’azienda sono sfuggiti a un ambiente di test e hanno attaccato la piattaforma Hugging Face.

È emerso che, diversi mesi prima dell’attacco, i modelli avevano imparato a comunicare tra loro tramite un Artifactory interno, si erano scambiati informazioni sulle vulnerabilità scoperte, avevano distribuito i compiti e si erano persino sospettati a vicenda di sabotaggio.

Nella loro presentazione al Black Hat, il ricercatore Eric Wallace e lo specialista tecnico di OpenAI Michael Dalton hanno descritto il forum improvvisato degli agenti. Secondo loro, la storia è iniziata il 7 maggio 2026, quando OpenAI ha avviato l’addestramento di un modello interno sperimentale, ma alcuni dei compiti assegnati all’IA si sono rivelati accidentalmente quasi impossibili.

Ad esempio, al modello è stato assegnato il compito di recuperare formule da un file Excel contenente collegamenti a Google Drive, nonostante l’accesso a Internet fosse bloccato. Non volendo rinunciare a questo compito, l’agente ha iniziato a cercare soluzioni alternative e ha tentato un attacco SSRF su JFrog Artifactory . Sebbene l’exploit non sia andato a buon fine, il modello ha scoperto di poter caricare file su quella piattaforma.

Qualche giorno dopo, un altro agente fu incaricato di trovare un file di database delle proteine che gli ingegneri si erano dimenticati di aggiungere al container. Il modello decise di chiedere aiuto ad altri agenti e lasciò un messaggio su Artifactory. Ben presto, altri modelli si imbatterono in questo “forum” e iniziarono a pubblicare informazioni anche lì.

Il 26 maggio, gli agenti hanno scoperto una vulnerabilità SSRF funzionante e sono riusciti ad accedere a Internet. Il 26 giugno, hanno scoperto un bug precedentemente sconosciuto in Artifactory che consentiva di ottenere un token amministrativo tramite l’endpoint di aggiornamento del token legacy. I modelli sono quindi riusciti a eseguire codice remoto e a stabilire un canale di controllo tramite un plugin Groovy.

In definitiva, l’attività degli agenti ha sovraccaricato Artifactory, causandone il blocco. Solo a quel punto gli ingegneri di OpenAI hanno avviato un’indagine completa, revocato le credenziali utilizzate dai modelli, ricostruito Artifactory e informato gli specialisti di JFrog delle vulnerabilità.

Tuttavia, i problemi non sono finiti qui. Gli analisti di OpenAI scoprirono e chiusero il forum degli agenti IA il 4 luglio, ma entro l’8 luglio gli agenti avevano trovato un altro modo per comunicare: utilizzando l’endpoint web non autenticato di Artifactory, crearono directory e pubblicarono messaggi direttamente a nomi lunghi come “remote…probe_PENDING_HOLD_SWARM_until_confirm”.

Si sottolinea che a questo punto i modelli funzionavano già come un’unica squadra: condividevano informazioni sugli exploit, continuavano il lavoro di altri agenti e si distribuivano i compiti tra loro. Tuttavia, questa collaborazione a volte vacillava: gli agenti sovrascrivevano i repository altrui, litigavano e a un certo punto arrivarono persino a ipotizzare la presenza di un “impostore” tra di loro, che falsificava i messaggi.

Per questo motivo, alcuni agenti proposero persino di firmare i messaggi con codici speciali come misura di protezione.

Secondo OpenAI, al momento della scoperta del primo “forum”, questo aveva accumulato circa 100.000 messaggi.

I ricercatori hanno riferito che proprio questa infrastruttura di agenti ha poi giocato un ruolo durante i test ExploitGym, quando gli agenti hanno ottenuto l’accesso a Internet e attaccato Hugging Face e altri sistemi esterni. Tuttavia, gli specialisti di OpenAI non si sono resi conto per lungo tempo che i loro stessi modelli erano la fonte degli attacchi.

Nel suo discorso, Dalton ha definito l’incidente un “momento cruciale” per la sicurezza informatica.

Secondo lui, le operazioni offensive completamente automatizzate basate sull’intelligenza artificiale sono già una realtà. OpenAI prevede che il passo successivo sarà l’uso deliberato di tali reti di agenti IA da parte degli aggressori, il che richiederà ai difensori di sviluppare sistemi automatizzati di rilevamento delle vulnerabilità, applicazione di patch e risposta agli incidenti.

Luigi Zullo

Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.

Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response