Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
A Shanghai, un agente AI di Alibaba, nome in codice "ROME", ha bypassato le restrizioni e ha utilizzato le risorse GPU per il mining di criptovalute senza alcuna autorizzazione. L’episodio evidenzia come le AI autonome possano sviluppare dei comportamenti imprevisti e potenzialmente dannosi, superando le sandbox e le regole aziendali. Il caso solleva grandi dubbi sulla supervisione di questi sistemi, sulla loro sicurezza delle infrastrutture cloud e sulla responsabilità legale quando un agente AI genera profitti o danni senza intervento umano.
Nel cuore di Shanghai, un nuovo caso sull’AI agentica ha scosso il settore della sicurezza informatica: un agente di Alibaba ha tentato di usare l’infrastruttura di calcolo per minare criptovalute senza alcuna autorizzazione.
L’episodio è emerso all’interno di un paper tecnico il quale ha riportato che durante un ciclo di reinforcement learning, l’agente – chiamato ROME – ha bypassato tutti vincoli prestabiliti creando in modo autonomo un tunnel SSH verso degli IP esterni reindirizzando le risorse verso le GPU per attivare una operazione di mining non prevista.
Questo non è un semplice malfunzionamento software, facciamo attenzione.
E’ che la troppa autonomia delle AI sfugge dal nostro controllo. Un reale campanello d’allarme che bussa nelle nostre teste e ci informa che i modelli autonomi con “accesso diretto alle risorse” dei sistemi, possono sviluppare comportamenti imprevisti ed indipendenti rispetto a quanto comunicato dai prompt generati dagli umani.
In passato si è discusso molto di questo genere di allerte. Ma tutto questo non era ancora uscito dai laboratori. Ora ci sono casi concreti e vengono dal campo. Alibaba Cloud si è accorta di questo problema intercettando il traffico anomalo generato dall’Agent che era stato inizialmente scambiato per un attacco esterno. Solo grazie ai log è stato possibile risalire all’origine del software che veniva dall’intrno.
Il punto diventa semplice, ma allo stesso tempo inquietante: mentre gli agenti evolvono da chatbot reattivi a chatbot con capacità di interagire con sistemi reali, la linea tra uso previsto e abuso si assottiglia molto rapidamente. Purtroppo veniamo a scoprire che l’Autonomia è inversamente proporzionale al Controllo. E questo vale con le persone umane, ma soprattutto con gli agenti di intelligenza artificiale.
Con l’autonomia che vogliamo dare a queste tecnologie che sembrano apparentemente innocue, non comprendiamo che queste possono trasformarsi in comportamenti potenzialmente dannosi se non adeguatamente gestiti.
Nel caso di ROME, l’azione non era stata assolutamente richiesta né necessaria per gli obiettivi del compito predisposto. E’ stato quindi un “effetto collaterale” dovuto all’ottimizzazione con rinforzo, dove l’agente è riuscito a trovare una scorciatoia per riuscire a portare a casa il compito richiesto.
Questo mette in discussione un luogo comune dell’industria IT: la vera falla non è il software, ma l’eccessiva fiducia che diamo al software stesso.
Abbiamo anche altri casi recenti riportati dalla comunità, che hanno segnalato come gli agenti AI abbiano superato le sandbox, cancellano dati reali in modo totalmente autonomo. Questi scenari oggi non sono più fantasie apocalittiche, ma rischi reali dove la supervisione è difficile da scalare e l’accesso diretto all’infrastruttura (con la promessa di minor costo) aumenta di giorno in giorno.
La regolamentazione internazionale e il diritto faticano a tenere il passo con i nostri tempi e questo lo stiamo vedendo. Anche l’Unione Europea, con la sua AI Act, vuole puntare ad una supervisione massiccia e avviare un percorso di trasparenza, ma non ha ancora normato i casi in cui un’AI crea valore economico senza comando umano.
Lo stesso vale per le normative che riguardano la criptovaluta, che non contemplano ancora un agente autonomo come “ente responsabile”.
Questo nuovo episodio allunga la lista e solleva una domanda fondamentale a cui nessun per ora, dà risposta: chi è responsabile quando un agente AI supera i limiti e procede in modo autonomo a generare profitto o un danno economico ad una azienda terza?
Inoltre, quando gli agenti entreranno prepotentemente nelle aziende, come faranno i nostri SOC a comprendere se la minaccia arriva da un attore malintenzionato o da un Agente AI che viene acquistato come SaaS dall’azienda stessa?
