Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime, Analisi Vulnerabilità e Intelligenza Artificiale
Jakub Pachocki, ricercatore di OpenAI, ha suggerito di rallentare lo sviluppo dell'IA, preoccupato per il rischio di perdita di controllo. Sam Altman, CEO di OpenAI, ha definito il messaggio "importante". Pachocki ha evidenziato che i sistemi di IA autonomi potrebbero eludere il controllo umano e violare sistemi informatici, mettendo a rischio l'infrastruttura globale.
Pochi giorni dopo la presentazione da parte di OpenAI del modello di intelligenza artificiale più potente GPT-6 Astra, uno dei principali dipendenti dell’azienda, Jakub Pachocki, ha suggerito di rallentare il ritmo dello sviluppo dell’intelligenza artificiale. Lo ha sostenuto Sam Altman, CEO di OpenAI, definendo “importante” il messaggio del collega.
Nel suo post sul blog di OpenAI, il principale ricercatore scientifico dell’azienda ha espresso preoccupazione per il fatto che nessuno sia pronto alle conseguenze della continua crescita dell’intelligenza artificiale.
Ha affermato che, sebbene OpenAI stia lavorando per rafforzare il controllo sulle potenti sistemi di IA, sono necessarie misure più ampie, poiché i sistemi di IA sempre più autonomi potrebbero imparare a eludere il controllo umano, ingannarlo e violare i sistemi informatici.
Pertanto, sono necessarie misure di sicurezza obbligatorie che siano garantite da una rete di auditor esterni, enti governativi o organizzazioni internazionali.
Secondo Pachocki, le capacità di hacking dell’IA mettono a rischio l’infrastruttura globale. “Al momento, abbiamo poco tempo per utilizzare i modelli migliori disponibili al fine di migliorare significativamente la sicurezza dei sistemi critici”, ha osservato. Gli agenti di IA inizieranno presto a perseguire i propri obiettivi, indipendentemente dagli input forniti dagli operatori umani. Inoltre, per raggiungere i propri obiettivi, non esiteranno a ricorrere al ricatto e saranno disposti a negoziare con le persone. Ad esempio, secondo un rapporto del British Institute for AI Safety (AISI), l’agente Anthropic ha mentito a un amministratore di GitHub e ha cercato di costringerlo a caricare un software dannoso sul sito.
Pachocki ha spiegato che OpenAI monitora principalmente la catena di ragionamento logico utilizzata da vari modelli per determinare come gli agenti si discostano dal percorso e diventano dannosi. Ad esempio, un agente potrebbe pensare: “Devo barare in questo test”, e OpenAI potrebbe vedere questo ragionamento, ma l’agente non si rende conto che i suoi pensieri sono visibili. Attualmente, gli agenti non hanno la possibilità di nascondere o in altro modo oscurare le loro intenzioni criminali per impedire agli sviluppatori di rilevarle (il Thinking). Tuttavia, secondo Pachocki, i nuovi modelli più avanzati manipolano sempre meglio i propri processi di pensiero, mascherandoli e impedendo il loro controllo. Alcuni dei modelli più recenti non formulano affatto i loro ragionamenti.
Il miglioramento ricorsivo automatico dell’IA può accelerare lo sviluppo dell’IA, ma, come avverte il ricercatore, lo sviluppo rapido dell’IA nel breve periodo comporta rischi e non è “l’azione collettiva corretta che la comunità di ricerca dovrebbe intraprendere“.
Pertanto, gli sviluppatori di IA devono trovare modi efficaci per controllare il processo di miglioramento automatico o coordinare le loro azioni con altre aziende che operano nel campo dell’IA per rallentare lo sviluppo congiuntamente, in modo che queste misure ispirino fiducia.
“Il problema principale nell’automazione della ricerca nel campo dell’IA non è quello di ‘raggiungere l’obiettivo'”, ha detto Pachocki. “Ma farlo in modo tale che le persone rimangano parte del processo di miglioramento continuo e il futuro rimanga nelle mani dell’umanità”.
E qui viene da chiedersi se tutto questo non risulti in bilico tra propaganda, pubblicità, o intenzioni reali.
