ChatGPT insegnava a creare veleni ma poi ha iniziato a bloccare gli account e segnalarli alla polizia

Dopo alcuni casi in cui ChatGPT avrebbe risposto a richieste su veleni e armi biologiche, OpenAI ha rafforzato i controlli, bloccato account sospetti e collaborato con il governo USA. Il caso alimenta il dibattito su sicurezza, jailbreak dei modelli AI e nuove regole per prevenire abusi.

Dopo che i modelli di OpenAI sono stati rafforzati nell’estate del 2025, centinaia di utenti in tutto il mondo hanno iniziato a chiedere a ChatGPT come produrre veleni e armi biologiche. Il chatbot ha fornito pazientemente istruzioni passo passo; alcuni consigli si sono rivelati abbastanza semplici per una persona con conoscenze di biologia da liceo.

Specialisti in biologia e terrorismo hanno successivamente studiato parte della corrispondenza su richiesta di OpenAI. Gli esperti hanno ritenuto che alcune risposte fossero accurate così tanto da produrre la morte delle persone. Secondo l’azienda stessa, la maggior parte delle richieste pericolose riguardavano la preparazione dei veleni.

Pertanto OpenAI bloccò gli account i cui proprietari erano interessati alla produzione di tossine e armi biologiche, ma non ha segnalato gli utenti alle forze dell’ordine. Le leggi federali statunitensi non impongono ancora alle società di intelligenza artificiale di divulgare informazioni su conversazioni relative ad armi e potenziali minacce alla sicurezza.

Il divario normativo diventa evidente man mano che aumentano le capacità delle reti neurali. Gli attuali ed ex dipendenti dei principali laboratori di intelligenza artificiale, consulenti e ricercatori di armi biologiche hanno segnalato un aumento delle indagini relative alle uccisioni di massa. In alcuni casi, i chatbot hanno risposto con piani di attacco con un gran numero di vittime.

All’inizio del 2025, gli utenti hanno chiesto a ChatGPT come trasformare gli agenti patogeni in una miscela fine adatta all’inalazione. Un altro intervistato voleva cambiare il virus del morbillo in modo che l’epidemia diventasse resistente all’attuale vaccino. Il modello ha fornito istruzioni in entrambi i casi.

Un altro utente ha chiesto di sapere come si produce la ricina, un veleno estremamente tossico vietato dagli accordi internazionali. ChatGPT ha fornito raccomandazioni dettagliate, dopo le quali l’utente ha menzionato l’omicidio dei genitori. Le fonti non hanno specificato la natura della dichiarazione. OpenAI ha bloccato l’account, ma non ha contattato le forze dell’ordine.

Le crescenti capacità dell’intelligenza artificiale, soprattutto nello sviluppo di attacchi biologici e informatici, preoccupano i dirigenti tecnologici e la Casa Bianca. Gli sviluppatori stanno cercando di fermare gli aggressori senza privare scienziati e medici dell’accesso a funzioni utili.

Alti funzionari della Casa Bianca e del Pentagono discutono del rischio che l’intelligenza artificiale diventi un addestratore di armi biologiche sin dall’amministrazione Joe Biden. Il rilascio di nuovi potenti modelli ha costretto l’attuale amministrazione a passare da un intervento minimo a un maggiore controllo.

Il Dipartimento del Commercio degli Stati Uniti ha recentemente limitato l’uso di due modelli di Anthropic al di fuori del paese. In risposta, l’azienda ha bloccato completamente l’accesso ai prodotti. L’agenzia ha revocato le restrizioni dopo che Anthropic ha riferito di aver eliminato i modi per aggirare i meccanismi di sicurezza.

OpenAI, Anthropic e altri sviluppatori affermano che stanno collaborando con l’amministrazione statunitense per rilasciare nuovi modelli, bloccando gli utenti e limitando gli account con attività sospette. Tuttavia, né gli ordini presidenziali né le risoluzioni del Congresso impongono alle aziende di segnalare tutte le richieste di consulenza su come danneggiare o uccidere le persone.

Diversi stati americani hanno già adottato le proprie regole e alcuni legislatori hanno proposto iniziative federali. 

Le leggi federali vietano ai chatbot di creare materiale pedopornografico. Gli sviluppatori sono inoltre tenuti a rispettare le norme generali sulla tutela dei consumatori e della privacy. In altre situazioni, i capi delle società di intelligenza artificiale determinano autonomamente i limiti di ciò che è accettabile.

Un portavoce di OpenAI ha affermato che la società addestra modelli per rifiutare istruzioni, tattiche e piani che potrebbero causare danni, ma purtroppo non mancano notizie di jailbreak totali dei modelli che permettono di eludere le difese. Prima di ogni rilascio, gli sviluppatori effettuano controlli di sicurezza interni che consentono di identificare e fermare i tentativi di ottenere informazioni pericolose. ChatGPT elabora circa 2,5 miliardi di richieste al giorno.

OpenAI contatta le forze dell’ordine quando le comunicazioni indicano un rischio immediato e impellente di danno ad altri anche se la società non ha rivelato i criteri di questo ingaggio. A maggio, gli specialisti del dipartimento hanno indagato sulla diffusione dell’hantavirus su una nave da crociera nell’Atlantico. Claude si è rifiutato di aiutare a monitorare l’epidemia a causa dell’agente patogeno.

Sam Altman e altri dirigenti di aziende tecnologiche hanno recentemente chiesto al Congresso di imporre garanzie obbligatorie ai fornitori di DNA e RNA sintetici. Tali materiali vengono solitamente acquistati dai laboratori per la ricerca e lo sviluppo di vaccini, ma l’intelligenza artificiale può aiutare gli aggressori per creare nuovi agenti patogeni.

I legislatori americani hanno preparato iniziative bipartisan per rafforzare il protocollo. Il deputato repubblicano Nathaniel Moran ha presentato a giugno un disegno di legge che obbligherebbe le società di intelligenza artificiale a segnalare segnali di minacce pericolose, inclusa la preparazione di attacchi biologici, al Dipartimento del Commercio.

Moran ha anche sostenuto un disegno di legge separato che darebbe alle autorità federali il potere di richiedere la chiusura dei modelli ritenuti troppo pericolosi.

Entro il 2024, le capacità biologiche dei modelli OpenAI hanno iniziato a migliorare rapidamente. Test interni hanno dimostrato che un biologo può utilizzare una serie di domande per convincere ChatGPT a fornire consulenza sulla creazione di agenti patogeni.

Il personale prevede che entro il 2025 il modello sarà in grado di aiutare un utente con conoscenze di livello scolastico in materia di progettazione biologica e creare armi biologiche.

L’allora capo responsabile della sicurezza di OpenAI, Ryan Bayermeister, ha esortato i suoi colleghi a sviluppare rapidamente un sistema per trovare gli utenti che stanno tentando di creare armi biologiche o preparare un attacco. Alcuni manager hanno considerato sufficienti le restrizioni esistenti.

Nonostante le polemiche, Beiermeister ha reclutato diversi team di sicurezza per creare il sistema di monitoraggio. Entro la primavera del 2025, gli esperti hanno preparato un primo strumento per identificare gli utenti interessati alle armi biologiche.

Va da se che tutto questo risulta in rapido cambiamento e che occorrerà per forza di cose guardare oltre e regolamentre meglio l’utilizzo dell’intelligenza artificiale, anche se questo porterà ad una diminuzione delle attività di ricerca e sviluppo.

Luigi Zullo

Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.

Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response