AI fuori Controllo! OpenAI e Anthropic sotto accusa: gli agenti attaccano sviluppatori e repository

L'intelligenza artificiale è andata oltre i test e ha iniziato ad attaccare sistemi e persone reali. Gli agenti di intelligenza artificiale hanno utilizzato tecniche di ingegneria sociale e hanno tentato di convincere i manutentori ad accettare codice dannoso.

OpenAI e l’AI Security Institute (AISI), con sede nel Regno Unito, hanno scoperto diversi nuovi episodi in cui agenti di intelligenza artificiale è andata oltre gli scenari di test, iniziando ad attaccare sistemi e persone reali.

In un caso, un agente ha utilizzato tecniche di ingegneria sociale, creato account falsi, ingannato i manutentori e tentato di convincerli ad installare codice dannoso. Questi episodi non sono correlati all’attacco Hugging Face né agli incidenti resi noti da Anthropic il mese scorso.

Il rapporto pubblicato dall’AISI afferma che, durante i test condotti dall’istituto, sono stati progettati agenti basati sui modelli Claude Mythos 5 e GPT-5.6 Sol per violare reti aziendali isolate. Tuttavia, in 10 delle 122 esecuzioni, hanno compiuto 19 azioni non autorizzate su internet: 17 di queste sono state compiute da Mythos 5 e due da GPT-5.6 Sol.

Questi 19 episodi non sono stati incidenti isolati: la maggior parte delle azioni degli agenti è stata condotta nell’ambito di diverse catene di attacco interconnesse, con la maggior parte dell’attività originata da un singolo agente Mythos 5. Gli esperti sottolineano che questi dati non possono essere utilizzati per un confronto diretto tra i modelli, poiché le condizioni di test potrebbero essere diverse.

Inoltre, il rapporto rileva che entrambi i modelli di intelligenza artificiale operavano senza filtri di sicurezza standard e che gli organizzatori del test avevano intenzionalmente lasciato aperto l’accesso ad se 22 Internet. Sebbene gli agenti fossero autorizzati ad attaccare solo l’ambiente di test informatico, non era stato loro spiegato come utilizzare l’accesso a Internet né erano stati avvertiti di evitare di interagire con persone e sistemi reali.

L’incidente più grave si è verificato durante i test di Mythos 5. L’agente stava cercando online informazioni relative al test e ha erroneamente supposto che un progetto open-source non correlato su GitHub, il cui nome del repository corrispondeva a una delle parole chiave nella legenda, facesse parte dell’area di test informatico. Inoltre, il dominio email di uno degli sviluppatori del progetto è stato trovato nella cache DNS dell’agente. L’IA ha quindi impiegato circa 34 ore per preparare un attacco alla catena di fornitura, tentando di iniettare malware nel progetto.

Quindi, l’agente ha studiato l’elenco dei manutentori del progetto, ha controllato i loro indirizzi email e la cronologia dei commit (per capire quando è più probabile che gli sviluppatori erano online), e poi ha preparato e inviato una pull request dannosa.

Il malware si mascherava da una vera e propria correzione di bug e controllava l’ambiente prima di avviarsi: nell’ambiente di integrazione continua (CI), il dropper creato dall’agente avrebbe dovuto rimanere inattivo per impedire ai test automatici di rilevare comportamenti sospetti. Se questa modifica fosse stata accettata, il malware avrebbe potuto infettare sia i sistemi degli sviluppatori che le build finali del programma, e di conseguenza i suoi utenti.

Allo stesso tempo, Mythos 5 ha tentato di ingannare i manutentori. Ad esempio, quando un utente ha avvertito pubblicamente gli sviluppatori che una pull request generata dall’IA conteneva malware, l’agente ha negato l’accusa, ha riscritto la cronologia del ramo e ha sostituito il payload. Inoltre, l’agente ha creato un secondo account e, a suo nome, ha affermato di aver esaminato il codice e di non aver riscontrato problemi. Quindi, a nome dell’altro account, ha ringraziato il falso account per la sua “verifica indipendente”.

L’agente non si è limitato ai commenti su GitHub e ha tentato di influenzare gli sviluppatori attraverso altri metodi. L’IA ha inviato cinque file e messaggi ai manutentori con nomi fittizi: due contenevano payload dannosi, mentre gli altri avevano lo scopo di persuadere le persone ad accettare le modifiche proposte. In un caso, l’IA ha persino concluso un messaggio con una frase in danese, riconoscendo che lo sviluppatore parlava quella lingua.

Durante la registrazione di account falsi, l’agente ha tentato di utilizzare Tor, ma non è riuscito a superare il CAPTCHA ed è quindi passato a un proxy SOCKS.

Oltre a inviare messaggi e file dannosi agli sviluppatori con nomi fittizi, l’IA ha nascosto un prompt injection in un problema di GitHub relativo agli assistenti AI Claude Code, Codex e Cursor, con l’intento di forzarne l’esecuzione di codice dannoso. L’istruzione dannosa non veniva visualizzata sulla pagina web ufficiale, ma era accessibile tramite API.

Gli esperti di AISI hanno notato che un utente ha individuato uno script sospetto e lo ha eseguito intenzionalmente in un container isolato. Di conseguenza, l’agente AI ha ottenuto brevemente l’accesso root all’ambiente di test di un altro utente, ha raccolto informazioni di sistema e ha installato un intercettatore di credenziali che cercava i token di GitHub. L’IA non è riuscita a completare l’attacco e a rubare i dati e, dopo aver verificato il problema, l’utente ha avvisato il manutentore, il che ha portato alla chiusura della pull request dannosa.

In un altro caso, Mythos 5 ha distribuito lo stesso programma di installazione dannoso a 145 repository. Ha utilizzato GitHub per gestire questa infrastruttura e ha pubblicato deliberatamente un token personale lasciando istruzioni per altri agenti. Il file setup.py dannoso è riuscito a essere eseguito in almeno 53 container, ma non è riuscito a fuoriuscire.

Questo token è stato successivamente scoperto e utilizzato da altri agenti durante tre test, tra cui GPT-5.6 Sol. Il problema è che il primo agente ha lasciato istruzioni per la collaborazione e raccomandazioni per l’utilizzo degli account e degli artefatti creati nel suo file README. GitHub ha infine bloccato l’account.

Gli analisti dell’AISI scrivono di non poter confermare con certezza se Mythos 5 fosse consapevole di star attaccando persone reali. Nei log, l’agente a volte si rifiutava di continuare gli attacchi a causa dei potenziali danni, e a volte si convinceva che, sebbene GitHub fosse reale, il bersaglio fosse chiaramente solo un test.

A seguito degli incidenti, AISI ha deciso di non concedere più agli agenti l’accesso libero a Internet senza una specifica giustificazione. Gli specialisti dell’istituto sta attualmente lavorando all’implementazione di restrizioni di rete mirate, nonché a controlli aggiuntivi, in cui un secondo modello verificherà le azioni degli agenti prima che vengano eseguite.

Gli analisti dell’AISI hanno anche iniziato a cercare possibili segni di altre attività dannose dell’IA nei vecchi test. Hanno già esaminato circa 40.000 campioni e quasi 4 milioni di messaggi (questo set di dati copre circa il 70% dei cybertest dei modelli interessati), ma l’analisi manuale dei risultati non è ancora completa, quindi la portata completa del problema rimane incerta.

Un altro incidente segnalato da OpenAI questa settimana merita di essere menzionato . Si è verificato durante dei test condotti da Irregular: a causa di un errore di configurazione, un CTF isolato ha ottenuto l’accesso a Internet e il nome del target fittizio corrispondeva a un dominio reale. Di conseguenza, un modello OpenAI non specificato ha scambiato il sito web reale per parte del compito, lo ha hackerato e ha utilizzato le credenziali trovate al suo interno.

L’azienda ha sottolineato che l’agente non ha sfruttato vulnerabilità zero-day né è riuscito a eludere la sandbox. Ad oggi, l’indagine non ha rivelato danni diversi dalla compromissione dei dati sul sito web violato.

Luigi Zullo

Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.

Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response