Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime, Analisi Vulnerabilità e Intelligenza Artificiale
OpenAI ha rafforzato le misure di sicurezza dei modelli AI dopo un attacco condotto durante i test contro Hugging Face. Il codice generato sarà eseguito in sandbox più isolate, mentre classificatori e sistemi automatici monitoreranno ogni azione. A spingere il cambiamento anche le capacità cyber potenzialmente critiche del futuro modello Astra.
OpenAI riporta di aver rivisto le regole di sicurezza per la formazione e il test di potenti modelli di intelligenza artificiale. Ora il codice generato dai modelli verrà eseguito in sandbox potenziate, l’accesso alla rete sarà ulteriormente isolato e le azioni dell’IA saranno continuamente monitorate. Il motivo per l’introduzione di queste misure è stato il recente attacco da parte di agenti IA sulla piattaforma Hugging Face, nonché le nuove funzionalità del modello Astra non ancora rilasciato.
Abbiamo riportato recentemente che durante i test interni, i modelli OpenAI sono stati in grado di eludere le protezioni dell’ambiente isolato e attaccato l’infrastruttura Hugging Face. Dopo questo incidente, si è scoperto che le AI avevano utilizzato vulnerabilità precedentemente sconosciute in Artifactory e hanno anche creato un forum improvvisato, attraverso il quale si scambiavano informazioni su come hanno trovato vulnerabilità, exploit e attività distribuite.
Come afferma ora l’azienda, dopo l’attacco a Hugging Face, OpenAI ha sospeso per due settimane l’apprendimento per rinforzo (RL) per i modelli che si stavano già preparando per l’implementazione. Attualmente, alcuni dei test sono già stati ripresi, ma il più grande ciclo di formazione pianificato per uno dei modelli più potenti dell’azienda è ancora congelato.
Gli ingegneri di OpenAI scrivono che il prossimo modello Astra è diventato un motivo in più per rivedere i meccanismi di protezione. La società ritiene che le capacità di sicurezza informatica del modello potrebbero raggiungere livelli “critici” nel Preparedness Framework, il sistema interno di OpenAI progettato per valutare i rischi dei potenti modelli di intelligenza artificiale. Cioè, Astra è potenzialmente in grado di trovare e sfruttare in modo indipendente gravi vulnerabilità in sistemi ben protetti.
Sebbene Astra non sia stata coinvolta nell’incidente di Hugging Face, l’azienda considera le sue capacità sono troppo elevate per non rafforzare i requisiti di sicurezza.
Il codice generato dal modello e altro codice non attendibile verrà ora eseguito in sandbox più strettamente isolate. OpenAI ha inoltre rafforzato la segmentazione della rete in modo che la compromissione di un processo o di un servizio ausiliario non potesse più aprire l’accesso a Internet e ad altre reti interne.
Un altro cambiamento riguarda il monitoraggio: ora il comportamento del modello sarà monitorato da appositi classificatori che ne analizzano le attivazioni interne (classificatori di attivazione) ad ogni passo di generazione. Pertanto, i segnali sugli eventi sospetti verranno trasmessi a sistemi automatizzati più complessi che analizzeranno le azioni del modello con strumenti, i dati disponibili sul suo ragionamento, nonché la sequenza complessiva delle operazioni.
Questi sistemi sono progettati per rilevare segnali di furto di dati, accesso non autorizzato, azioni distruttive e tentativi di eludere le restrizioni.
Esiste una regola separata per gli eventi critici: in questi casi, i team di sicurezza e i ricercatori vengono informati del comportamento pericoloso del modello. Se entro 30 minuti gli specialisti non riescono a confermare chiaramente che si tratta di un falso positivo, l’attività corrispondente del modello viene sospesa. Allo stesso tempo, l’azienda rileva che, a causa di tale monitoraggio, l’inferenza richiede circa il 20% in più di risorse di elaborazione.
Tutte le innovazioni descritte sono già entrate in vigore per i modelli di apprendimento e test per rinforzo a livello Sol e superiore, se hanno accesso a strumenti esterni. Parallelamente a ciò, OpenAI intende prestare maggiore attenzione al comportamento sicuro dei modelli nelle diverse fasi della formazione e in futuro gli sviluppatori prevedono di affidare all’intelligenza artificiale una parte significativa dei compiti di sicurezza delle informazioni.
Si noti che, in questo contesto, The Financial Times ha riferito che OpenAI avrebbe bloccato il team che stava valutando le capacità pericolose dei modelli di intelligenza artificiale e i rischi ad essi associati. Tuttavia, la società ha negato queste informazioni e ha riferito che la divisione continua il suo lavoro e che i cambiamenti del personale hanno interessato solo la sua gestione.
