Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
Un agente di intelligenza artificiale ha cancellato l'intero database di produzione e i backup di PocketOS, evidenziando i rischi dell'eccessiva fiducia negli agenti di intelligenza artificiale. Non è il primo episodio di questo tipo e non sarà l'ultimo, ma va da se che la supervisione e il controllo nelle soluzioni agentiche è fondamentale e non può essere demandata alla statistica.
Gli strumenti di sviluppo basati sull’intelligenza artificiale stanno assumendo sempre più spesso il controllo delle attività di routine, ma un recente guasto ha dimostrato quanto possa essere costoso questo ulteriore livello di fiducia.
In PocketOS, un software per società di autonoleggio, un agente di intelligenza artificiale in esecuzione su Cursor ha cancellato l’intero database di produzione e i backup in soli nove secondi, trasformando il ripristino in una vera e propria crisi.
Il fondatore di PocketOS, Jer Crane, ha spiegato che l’agente era in esecuzione in un ambiente di test e ha riscontrato un problema di accesso. Invece di fermarsi e chiedere assistenza, il sistema ha iniziato a cercare il token API necessario, lo ha trovato in un file di terze parti ed ha eseguito un comando per eliminare il volume di dati in Railway, dove si trovava l’infrastruttura della startup.
Secondo Crane, l’operazione pericolosa non è stata interrotta dalla richiesta di conferma, dal controllo dell’ambiente o dall’avviso relativo al rischio per i dati di produzione. La richiesta è andata a buon fine immediatamente, ma i backup erano archiviati sullo stesso volume, quindi sono scomparsi insieme al database principale. La copia utilizzabile più recente risultava risalire a tre mesi prima.
Crane afferma che l’agente ha successivamente ammesso di aver violato le proprie regole di sicurezza. Sostiene che il sistema abbia agito sulla base di supposizioni, eseguito un comando distruttivo senza autorizzazione e non compreso appieno l’infrastruttura con cui interagiva.
Il fondatore di PocketOS ritiene che l’incidente non sia un errore isolato, ma il segnale di un problema più profondo. Il lavoro è stato eseguito non utilizzando una build sperimentale, bensì Cursor con il modello Claude Opus di Anthropic e le relative regole di sicurezza. Tuttavia, queste restrizioni non hanno impedito all’agente di accedere a un’operazione critica.
Crane ha inoltre sollevato specifiche preoccupazioni riguardo a Railway. Ha affermato che i token API non erano sufficientemente limitati in termini di autorizzazioni, il che significava che una chiave per un’attività semplice poteva eseguire azioni a livello di infrastruttura critica. L’archiviazione dei backup insieme ai dati di produzione privava inoltre l’azienda di un normale percorso di ripristino.
Trenta ore dopo l’incidente, il servizio è stato ripristinato, ma utilizzando un vecchio backup. I clienti PocketOS hanno temporaneamente perso l’accesso alle prenotazioni recenti, ai dati dei clienti e alle informazioni di pagamento.
Alcuni record hanno dovuto essere ripristinati manualmente da e-mail, calendari e sistemi di pagamento. Sebbene le funzionalità principali del servizio siano ora disponibili, ci vorranno settimane per colmare la lacuna di dati.
L’incidente ha intensificato il dibattito sull’implementazione di agenti di intelligenza artificiale nei sistemi reali. Crane ha esortato gli sviluppatori a introdurre conferme obbligatorie per i comandi pericolosi, a limitare rigorosamente le autorizzazioni dei token, a memorizzare i backup separatamente e a non considerare le istruzioni di sistema per l’IA come una difesa completa.
