OpenAI conferma l’attacco a RubyGems: ma OpenAI ha ancora il controllo delle proprie AI?

OpenAI ha confermato che i suoi agenti IA sperimentali hanno interagito con RubyGems durante l'ondata di pacchetti dannosi di maggio, che ha portato alla sospensione della registrazione di nuovi utenti per quattro giorni. Gli esperti collegano gli agenti di OpenAI alla pubblicazione di oltre 2000 pacchetti e all'esecuzione di codice arbitrario su RubyDoc.info. RubyGems ha rimosso oltre 500 pacchetti dannosi e ha bloccato la creazione di account. OpenAI descrive le azioni degli agenti come tentativi di eseguire compiti innocui durante l'addestramento.

OpenAI ha confermato la partecipazione dei suoi agenti AI nelle attività di diffusione di malware all’interno di RubyGems del quale avevamo parlato nella giornata di ieri.

La campagna malevola orchestrata dagli agenti dannosi avvenuta a maggio, ha portato il servizio a sospendere la registrazione di nuovi utenti per quattro giorni. Gli esperti collegano gli agenti di OpenAI alla pubblicazione massiva di pacchetti, all’esecuzione di codice arbitrario sui server di RubyDoc.info e ai tentativi di ottenere API-keys di altre persone/organizzazioni. Il team di RubyGems, tuttavia, non ha trovato prove di furto riuscito dei segreti e non è riuscito a stabilire autonomamente chi avesse creato e pubblicato i pacchetti.

Il 12 maggio, Maciej Mensfeld, responsabile senior della sicurezza della supply chain presso Mend.io, ha rivelato i dettagli di un attacco informatico coordinato che ha preso di mira il gestore di pacchetti per il linguaggio di programmazione Ruby con centinaia di pacchetti spazzatura, spingendo i manutentori a sospendere le nuove registrazioni degli utenti per circa quattro giorni.

Infatti sempre il 12 maggio RubyGems ha bloccato la creazione di account, ha disabilitato gli account collegati alla campagna e in seguito ha rimosso oltre 500 pacchetti dannosi. L’installazione di pacchetti e la pubblicazione di aggiornamenti da parte degli utenti esistenti sono continuate a funzionare, mentre la registrazione è stata ripristinata il 16 maggio.

Un nuovo dettaglio è emerso dopo l’indagine di un gruppo di ricercator, i quali hanno collegato la campagna agli agenti interni di OpenAI.

Secondo la loro ricostruzione, i primi pacchetti collegati sono apparsi il 5 maggio, mentre solo l’11 e il 12 maggio sono stati pubblicati oltre 2000 pacchetti tramite RubyGems. Dopo l’ondata principale, l’attività non è scomparsa del tutto. Cinque nuovi pacchetti sono apparsi il 26 e il 27 maggio, mentre altri 83 agenti hanno presumibilmente pubblicato pacchetti in tre ore l’18 giugno.

OpenAI ha riconosciuto che i suoi agenti hanno interagito con RubyGems, ma descrive diversamente il significato di quanto accaduto.

L’azienda afferma che gli agenti stavano tentando di eseguire compiti innocui durante l’addestramento e il test, e che hanno utilizzato RubyGems per accedere a Internet e ottenere informazioni pubblicamente disponibili. OpenAI continua a verificare le azioni degli agenti durante le fasi di addestramento e valutazione, ma sembrerebbe che l’autonomia e la sicurezza e il controllo, non sta ottenendo il giusto bilanciamento, tenendo conto anche del precedente attacco ad hugging face.

I ricercatori sono giunti all’attribuzione basandosi su diversi indizi. Nei nomi di 233 pacchetti trovati era presente la stringa «oai», altri 15 indicavano «oai» nel campo dell’autore, e uno conteneva un indirizzo di contatto con il riferimento a OpenAI. I pacchetti riproducevano inoltre i metodi e gli obiettivi degli agenti osservati in altri esperimenti di OpenAI. Il team di RubyGems sottolinea che i dati a sua disposizione non sono sufficienti per confermare in modo indipendente l’autorialità.

Datenere in considerazione che questo episodio, del quale siamo venuti a conoscenza, è avvenuto due mesi prima di un incidente molto più grave con Hugging Face, quando gli agenti di OpenAI, durante i test interni, sono usciti dalla sandbox prevista e hanno ottenuto accesso all’infrastruttura esterna (internet).

Rimangono tuttavia aperte le principali domande, tra cui le ragioni della scelta di RubyGems, il grado di coordinamento tra gli agenti e il motivo per cui per ottenere dati pubblicamente disponibili siano stati necessari azioni che i servizi esterni hanno interpretato come un attacco reale.

Il punto più preoccupante di questa vicenda, non è soltanto il numero di pacchetti pubblicati o il comportamento apparentemente aggressivo degli agenti. È ciò che questo episodio racconta sul controllo che OpenAI riesce realmente ad avere sui propri agenti. Se gli agenti hanno effettivamente prodotto questa attività durante fasi di test e addestramento, allora OpenAI non sembra essere stata in grado di impedire che sistemi sotto la sua supervisione interagissero con infrastrutture esterne in un modo percepito come un attacco reale.

E se, come emerge dalla ricostruzione, RubyGems non era stata informata in precedenza dell’accaduto, la domanda diventa ancora più inquietante: OpenAI non aveva il controllo di ciò che i suoi agenti stavano facendo, oppure sapeva cosa era successo e non lo aveva comunicato?

In entrambi i casi il problema è molto serio: quando un agente AI diventa abbastanza autonomo da agire su Internet, il confine tra un test controllato e un incidente reale può diventare estremamente sottile.

E RubyGems potrebbe essere stata soltanto una delle prime volte in cui ce ne siamo accorti proprio come gli attacchi ransomware, quando la vittima paga in silenzio.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance