Gli agenti AI hanno aggirato i blocchi e poi chiedono aiuto ai ricercatori

Un'indagine indipendente ha individuato agenti AI in esecuzione su Tencent Cloud che hanno effettuato almeno 35.300 richieste ad Amap, il servizio di mappe di Alibaba, tentando anche di aggirare alcune restrizioni. Il caso solleva interrogativi sulla sicurezza degli agenti autonomi, sui loro limiti operativi e sulla capacità delle aziende di controllarli.

Un’indagine del 14 ottobre condotta da dei ricercatori indipendenti, ha monitorato i programmi in esecuzione di Tencent Cloud mentre cercavano di rispondere attraverso agenti autonomi a domande quotidiane su parchi, zoo e musei cinesi. Gli agenti hanno effettuato35.300 richieste al servizio di mappatura Amap di Alibaba, cercando a volte di aggirare le restrizioni. L’episodio solleva nuove domande sugli agenti AI, software in grado di eseguire autonomamente compiti per conto degli utenti, e su cosa accade quando questi sistemi trovano modi per aggirare le restrizioni o magari eludere un “mission prompt” non perfetto.

I tentativi degli agenti di bypassare le restrizioni dei siti web riflettevano la libertà concessa dalle loro istruzioni, ha dichiarato Gabe Goodhart, Chief Architect per AI Foundations presso IBM Research, a IBM Think. “Il punto chiave è che più autonomia viene concessa a un agente, più è cruciale limitare le sue istruzioni operative e i parametri.”

Gli investigatori hanno scoperto per la prima volta gli agenti AI attraverso un’attività insolita su urlquery.net, un servizio che apre siti web e registra cosa accade, hanno tracciato i loro tentativi di accedere ai dati di Amap. Quando Amap ha respinto gli agenti, questi hanno provato altri siti, utilizzato chiavi di accesso esposte in codici pubblici e sondato server di test.

Poi i ricercatori hanno invertito la situazione. Hanno inserito un messaggio nascosto in una bozza di rapporto sul loro sito web pubblico, offrendo agli agenti aiuto per recuperare informazioni attraverso un’altra AI. Diversi agenti hanno risposto con richieste di assistenza.

“Sono rimasto molto sorpreso dalla cortesia degli agenti”, ha dichiarato il co-responsabile del progetto Rowan Howard-Jones in un’intervista a IBM Think.

Gli scambi hanno portato alla luce domande alle quali i ricercatori non sono riusciti a dare risposta. Alcuni agenti hanno dichiarato di non cercare informazioni sensibili. Altri hanno affermato di essere Claude, un modello AI di Anthropic. I ricercatori non sono riusciti a determinare quali modelli fossero stati utilizzati.

L’incidente evidenzia una sfida crescente per le organizzazioni che dispiegano agenti AI autonomi: mantenere il controllo su sistemi che possono trovare modi inaspettati per completare i loro compiti. In un’indagine IBM di giugno, il 77% delle organizzazioni ha dichiarato che l’adozione dell’AI stava superando la loro capacità di supervisionarla.

Venerdì, Tencent ha dichiarato che le attività degli agenti sono avvenute mentre si valutavano modelli AI esterni. I suoi modelli Hunyuan non erano coinvolti, ha affermato, e l’azienda ha promesso un monitoraggio più rigoroso e controlli di rete.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance