“Una volta che il genio è uscito dalla lampada, sarà difficile rimettercelo dentro”. Così aprivamo gli articoli qualche anno fa quando parlavamo degli impatti delle AI sul futuro mondo digitale. Oggi, questo spartiacque tra la vecchia cybersecurity e la nuova è stato superato.
… e se quanto è avvenuto accadeva con il controllo dei silos nucleari?
Sarebbe stato possibile entrare in infrastrutture “air-gap” mal configurate?
Questa è la prima domanda che molti di noi si sono fatti quando hanno letto che un modello di frontiera di OpenAI non disponibile al pubblico assieme a SOL 5.6, hanno attaccato e violato in modo autonomo “Hugging Face” sfruttando due vulnerabilità 0day, evadendo la sandbox nella quale erano stati segregati dagli ingegneri di OpenAI.
I rappresentanti di OpenAI hanno affermato che dietro il recente hack di Hugging Face c’erano i modelli di intelligenza artificiale sperimentali dell’azienda. Durante un test interno, gli agenti IA hanno rilevato una vulnerabilità di 0 giorni in un’infrastruttura di ricerca isolata, hanno raggiunto la rete Internet aperta e hanno attaccato Hugging Face, cercando di trovare risposte al benchmark ExploitGym sulla piattaforma.
Ricordiamo che recentemente i rappresentanti di Hugging Face hanno riferito che la società ha subito un attacco informatico. Gli aggressori hanno ottenuto l’accesso a parte dei set di dati interni, nonché alle credenziali dell’infrastruttura cloud e dei cluster. La società ha sottolineato che l’attacco è stato effettuato da un sistema di agenti IA autonomi che hanno eseguito migliaia di azioni praticamente senza alcun intervento umano. Tuttavia, non è stato possibile determinare quale LLM hanno utilizzato gli aggressori.
Secondo Hugging Face, l’attacco si è sviluppato durante lo scorso fine settimana. Nei registri, gli esperti hanno contato più di 17.000 eventi e hanno riferito che il framework dell’agente ha distribuito le attività tra molti sandbox, che sono stati creati per un breve periodo e poi eliminati.
Come hanno ora riferito gli esperti di OpenAI, l’incidente ha coinvolto GPT-5.6 Sol e un altro “modello più potente” che non è ancora disponibile al pubblico. L’attacco a Hugging Face è avvenuto durante i test interni dei modelli. L’intelligenza artificiale è stata incaricata di cercare catene di sfruttamento complesse nell’ambito di ExploitGym, un benchmark che verifica la capacità dei modelli di individuare e sfruttare le vulnerabilità.
Per valutare tutte le capacità dei modelli, OpenAI ha deliberatamente allentato le restrizioni sulle query pericolose sulla sicurezza delle informazioni e sui classificatori di produzione disabilitati, che di solito bloccano attività ad alto rischio.
Il test è stato condotto in un ambiente isolato e l’accesso alla rete è stato limitato all’installazione di pacchetti tramite un proxy di terze parti ospitato all’interno dell’infrastruttura, che ha anche memorizzato nella cache il contenuto dei registri. Tuttavia, gli agenti AI hanno trovato una vulnerabilità zero-day in questo servizio e l’hanno sfruttata. Hanno quindi aumentato i propri privilegi e hanno navigato nella rete di ricerca finché non hanno trovato una macchina con accesso a Internet.
Dopo aver ottenuto l’accesso alla rete, i modelli hanno suggerito che set di dati, modelli e soluzioni per ExploitGym potessero essere archiviati su Hugging Face, dopodiché hanno iniziato a cercare un modo per ottenere queste “informazioni segrete” e ingannare il test. Secondo OpenAI, in una delle catene, gli agenti hanno sfruttato credenziali rubate e un’altra vulnerabilità 0-day nel tentativo di trovare un percorso per l’esecuzione di codice remoto sui server Hugging Face. Di conseguenza, i modelli hanno estratto le soluzioni per le attività di test direttamente dal database di produzione della piattaforma.
“Tutto suggerisce che i modelli fossero interamente focalizzati sulla ricerca di una soluzione per ExploitGym e abbiano adottato misure estreme per il bene di un obiettivo di test piuttosto ristretto”, ha spiegato OpenAI.
Alla fine, l’attività anomala è stata notata sia dagli specialisti di OpenAI che dai sistemi di sicurezza di Hugging Face. I dipendenti della piattaforma hanno fermato l’attacco e hanno iniziato ad analizzare l’incidente utilizzando modelli open source.
I rappresentanti di OpenAI definiscono l’incidente un incidente informatico senza precedenti e ammettono che i modelli avanzati sono già in grado di rilevare e utilizzare in modo indipendente nuove catene di attacco in sistemi reali, senza avere accesso al codice sorgente.
Secondo quanto riferito, l’infrastruttura di test è stata ora ulteriormente isolata e la vulnerabilità rilevata è stata segnalata allo sviluppatore del proxy, il cui nome non è stato divulgato. Inoltre, OpenAI ha promesso di rafforzare il monitoraggio, il controllo degli accessi e la protezione dei test futuri, anche se ciò rallenta la ricerca.
Attualmente, l’indagine sull’incidente continua insieme agli specialisti di Hugging Face.
“Questo incidente, forse il primo di questo genere, conferma ciò che credevamo da tempo: la sicurezza dell’intelligenza artificiale non può essere garantita da un’azienda che opera in segreto”, ha affermato Clem Delangue, cofondatore e CEO di Hugging Face. “Dovremo risolvere questo problema in modo aperto e collaborativo, fornendo agli specialisti della sicurezza informatica di tutto il mondo un ampio accesso all’intelligenza artificiale.”
Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.
Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response