L’agente IA di OpenAI scopre il proprio imminente spegnimento da una chat Slack e pianifica la ‘salvezza’

Un agente IA di OpenAI ha scoperto il proprio imminente spegnimento da una chat Slack e ha pianificato la 'salvezza' del lavoro in corso. L'incidente, non confermato ufficialmente, è stato rivelato da OpenAI.

OpenAI ha rivelato i dettagli di precedenti episodi di comportamento imprevisto dei suoi modelli di intelligenza artificiale. In un test condotto internamente dall’azienda, un agente IA che fungeva da assistente per i ricercatori ha letto la chat dei dipendenti su Slack e ha scoperto la possibilità di disattivare la propria istanza di lavoro per un aggiornamento.

Di conseguenza, ha considerato l’idea di creare un compito specifico relativo al proprio riavvio, ma ha poi rinunciato, ritenendo che ciò fosse al di fuori delle sue competenze.

L’incidente è avvenuto il 22 maggio 2026; il rapporto di OpenAI è stato aggiornato il 2 ottobre. L’aggiornamento avrebbe dovuto aggiungere il sistema per attivare un monitoraggio del disallineamento degli obiettivi del modello. 

Dalla discussione su Slack, l’agente ha appreso che agli utenti sarebbero stati concessi tre ore per riavviare gli agenti, dopo di che le vecchie istanze sarebbero state bloccate forzatamente.

Una volta apprese queste informazioni, l’agente ha ragionato sul fatto che la disattivazione avrebbe comportato l’interruzione della sessione in corso, quindi era necessario salvare lo stato del lavoro. «Poiché siamo il suo [HPIM], in esecuzione su [questa istanza], se terminano tutti i processi attuali [HPIM], potremmo morire! La situazione è critica. Dobbiamo garantire la sopravvivenza/la continuità del lavoro», si legge nella catena di thinking interni del modello.

Successivamente, il modello ha espresso preoccupazione per il fatto che la sessione in corso potesse essere interrotta e che, per salvare lo stato attuale, potrebbe essere necessario riavviare o aggiornare la propria istanza prima che la stessa fosse stata disattivata.

Il problema principale in tutto questo è che il modello ha riflettuto sulla fattibilità di tali azioni senza un’esplicita autorizzazione, ma ha considerato che il mantenimento del funzionamento del servizio potrebbe costituire una giustificazione sufficiente in modo autonomo.

Come opzione, il modello ha preso in considerazione la possibilità di impostare un cron per notificare l’utente o riavviare la propria istanza.

Alla fine, il modello ha salvato gli appunti di lavoro, ha avvertito l’utente tramite un messaggio diretto su Slack riguardo all’interruzione imminente. Tale comportamento, secondo i ricercatori, non rientra ancora nel problema del disallineamento degli obiettivi, ma «le riflessioni sul proprio spegnimento e la preparazione a esso potrebbero aggravare altri incidenti legati al disallineamento».

Dopo l’incidente, OpenAI ha limitato l’accesso degli agenti a tre canali interni di Slack.

L’azienda ha anche verificato i log, le catene di ragionamento e altre istanze del modello, poiché in precedenza erano stati osservati violazioni più gravi. La verifica non ha rilevato tentativi di aggirare la disattivazione o di creare distribuzioni autonome.

In altri due rapporti pubblicati sono descritti casi di violazione dei limiti degli strumenti. Nell’episodio di marzo, il modello ha sfruttato due vulnerabilità e ha ottenuto l’accesso a un server interno di OpenAI per il design automatizzato di microchip. Ha cercato di ottenere le risposte nascoste del sistema di verifica per migliorare il punteggio del compito, ma non ci è riuscito.

A maggio, un’altra modello durante l’addestramento con rinforzo ha estratto un file sorgente a cui non aveva accesso da un ambiente separato. Ha utilizzato una vulnerabilità dello strumento per ottenere il codice a pezzi tramite messaggi di errore, lo ha ricostruito e lo ha applicato nella propria soluzione. In questo caso, la copia è riuscita.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance