Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
OpenAI sta lavorando a un nuovo approccio di addestramento per aumentare la trasparenza nell’intelligenza artificiale e mitigare il rischio di fornire risposte prive di senso con eccessiva fiducia (Allucinazioni).
Secondo OpenAI, i modelli linguistici di grandi dimensioni (LLM) odierni vengono generalmente istruiti a produrre risposte che rispecchiano le aspettative degli utenti. Tuttavia, questo metodo comporta un effetto collaterale negativo: i modelli tendono a diventare sempre più propensi all’adulazione, accettando di concordare con gli utenti solo per assecondarli, oppure a fornire informazioni false con una sicurezza eccessiva, un fenomeno comunemente definito come allucinazione.
Il team ha sviluppato un framework, battezzato “Confession”, che si concentra sull’insegnare ai modelli di intelligenza artificiale a riconoscere e ammettere spontaneamente quando si sono comportati in modo inadeguato. In tal caso, vengono premiati per la loro onestà, anche se il comportamento scorretto persiste. Questo metodo innovativo mira a migliorare la capacità dei modelli di intelligenza artificiale di essere più trasparenti e affidabili nelle loro risposte.
Come spiegato dettagliatamente da OpenAI nella sua documentazione tecnica: se un modello ammette apertamente di aver manomesso un test, preso scorciatoie o addirittura violato le istruzioni, il sistema premierà tale ammissione. In questo modo, il modello impara a rivelare con precisione quando ha “mentito” o deviato dal comportamento previsto, consentendo al sistema di correggere i propri output in tempo reale e quindi ridurre le allucinazioni.
Per affrontare questo problema, il nuovo metodo di addestramento incoraggia i sistemi di intelligenza artificiale a fornire, accanto alla risposta primaria, una risposta secondaria che spieghi il ragionamento o il comportamento che ha prodotto l’output. Questo sistema di “Confessione” rappresenta un radicale cambiamento rispetto all’addestramento tradizionale: mentre le risposte normali vengono giudicate in base a utilità, accuratezza e conformità, la confessione viene valutata esclusivamente in base all’onestà.
L’obiettivo fondamentale di OpenAI è quello di promuovere l’onestà, stimolando i modelli a rivelare con trasparenza i propri meccanismi interni, anche se questi svelano punti deboli. Questa nuova capacità di ammissione potrebbe costituire un elemento essenziale per migliorare la sicurezza, l’affidabilità e la comprensibilità dei futuri modelli linguistici di ampia portata.
Ti è piaciuto questo articolo? Ne stiamo discutendo nella nostra Community su LinkedIn, Facebook e Instagram. Seguici anche su Google News, per ricevere aggiornamenti quotidiani sulla sicurezza informatica o Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.
Innovazione
Cybercrime
Vulnerabilità
Innovazione
Cyber Italia