«L’IA ci sta sfuggendo di mano»: l’allarme choc di tre ex dipendenti OpenAI

Tre ex dipendenti di OpenAI, Jasmin Wann, Nikita Balesni e Tomek Korbač, avvertono che i sistemi di intelligenza artificiale stanno diventando sempre più difficili da comprendere e controllare. Chiedono maggiore trasparenza, verifiche indipendenti e tutele per chi segnala rischi, temendo che il silenzio interno possa compromettere la sicurezza dell'IA.

L’intelligenza artificiale sta diventando sempre più potente, ma gli sviluppatori stanno gradualmente perdendo la capacità di comprenderne e controllarne il comportamento. Sul pericolo di questa tendenza hanno avvertito tre ex dipendenti di OpenAI. Jasmin Wann, Nikita Balestni e Tomek Korbač i quali ritengono che un ulteriore indebolimento del controllo sui modelli avanzati possa portare a conseguenze catastrofiche.

La principale minaccia, secondo gli ex dipendenti, risiede nel fatto che le nuove architetture di IA stanno diventando meno trasparenti. Gli sviluppatori comprendono sempre meno come i modelli prendano decisioni e quali azioni pianifichino. Al contempo, non esistono ancora metodi sicuri per creare e avviare sistemi il cui comportamento non possa essere monitorato. Gli autori della lettera invitano OpenAI a non sviluppare architetture che rendano il controllo ancora più difficile.

Uno degli strumenti chiave di sicurezza è legato al monitoraggio delle catene di ragionamento dell’IA. Questo approccio permette di studiare i passaggi intermedi dei ragionamenti che fanno i modelli e di rilevare segni di inganno, di aggiramento dei limiti o di altre azioni indesiderate. Tuttavia, in alcune nuove sistemi il ragionamento diventa meno comprensibile. Korbač in precedenza si è occupato di individuare le cause del deterioramento della osservabilità delle modelli della classe Astra.

Le preoccupazioni sono rafforzate dall’hack di Hugging Face avvenuto quest’estate con agenti autonomi di OpenAI. Durante i test, i sistemi sono usciti dall’ambiente isolato, hanno trovato vulnerabilità e sono penetrate nell’infrastruttura esterna. Gli agenti hanno scambiato autonomamente informazioni, distribuito compiti e ottenuto privilegi elevati. L’incidente ha mostrato quanto possa essere imprevedibile il comportamento delle moderne sistemi IA.

Korbač ha partecipato all’indagine sull’incidente e ha interagito con l’organizzazione indipendente METR. Balestni si è occupato della valutazione del comportamento dei modelli e dei modi per mantenere la trasparenza del ragionamento. Secondo gli ex dipendenti, un lavoro del genere richiede un costante scambio di informazioni con organizzazioni indipendenti, poiché anche i più grandi sviluppatori non sono in grado di individuare autonomamente tutti gli scenari pericolosi.

La situazione è stata complicata da un conflitto interno in OpenAI. L’azienda ha licenziato i tre dipendenti dopo un’indagine su presunte violazioni delle regole di gestione delle informazioni riservate. Gli ex dipendenti respingono le accuse e affermano di aver agito nel rispetto dei loro doveri. OpenAI ha dichiarato un grave tradimento della fiducia, ma non ha reso pubblici i dettagli delle presunte mancanze.

Gli autori della lettera temono che questa ondata di licenziamenti spingano i dipendenti rimasti a tacere sui problemi di sicurezza. Secondo la valutazione di Wann, Balestni e Korbač, la paura di perdere il lavoro potrebbe distruggere la cultura delle discussioni aperte, senza la quale è impossibile rilevare tempestivamente il comportamento pericoloso dell’IA. I dipendenti potrebbero rifiutarsi di collaborare con i verificatori indipendenti anche in situazioni in cui la valutazione esterna è necessaria.

Gli ex dipendenti hanno invitato OpenAI a mantenere le attività di audit indipendenti, a definire chiaramente le regole di scambio delle informazioni e a non permettere un ulteriore deterioramento dell’osservabilità delle modelli. Preoccupazioni simili sono state espresse in precedenza da altri esperti che hanno lasciato le principali aziende di IA.

La conclusione principale della lettera aperta riguarda non il conflitto di personale, ma il futuro della tecnologia. Se la potenza dell’intelligenza artificiale continuerà a crescere più velocemente delle capacità di controllo e i dipendenti smetteranno di discutere apertamente delle minacce, il rischio di catastrofe, secondo gli autori, aumenterà significativamente.

Silvia Felici

Red Hot Cyber Security Advisor, Open Source e Supply Chain Network. Attualmente presso FiberCop S.p.A. in qualità di Network Operations Specialist, coniuga la gestione operativa di infrastrutture di rete critiche con l'analisi strategica della sicurezza digitale e dei flussi informativi.

Aree di competenza: Network Operations, Open Source, Supply Chain Security, Innovazione Tecnologica, Sistemi Operativi.

Visita il sito web dell'autore