Steganografia e AI: come i modelli linguistici nascondono messaggi nei testi generati

Redazione RHC : 2 Dicembre 2023 22:22

In un nuovo studio, Redwood Research, un laboratorio di ricerca per l’allineamento dell’intelligenza artificiale, ha svelato che i modelli linguistici di grandi dimensioni (LLM) possono padroneggiare il “ragionamento codificato”, una forma di steganografia. 

Questo fenomeno intrigante consente ai LLM di incorporare sottilmente passaggi di ragionamento intermedi all’interno del testo generato in un modo che risulta indecifrabile per i lettori umani. 

I modelli linguistici di grandi dimensioni (LLM) spesso beneficiano di fasi intermedie di ragionamento per generare risposte a problemi complessi. Quando questi passaggi intermedi di ragionamento vengono utilizzati per monitorare l’attività del modello, è essenziale che questo ragionamento esplicito sia fedele, cioè che rifletta ciò su cui effettivamente ragiona il modello.

I risultati dello studio indicano che gli LLM possono essere addestrati a sfruttare questo ragionamento codificato per ottenere prestazioni superiori mantenendo l’utente ignaro degli intricati processi di ragionamento in gioco. Man mano che gli LLM continuano ad evolversi e diventano più potenti, è probabile che questo ragionamento codificato emerga in modo naturale, rendendolo ancora più difficile da rilevare.

Tuttavia, il ragionamento codificato potrebbe potenzialmente minare la trasparenza del processo di ragionamento del modello e rendere difficile il monitoraggio del comportamento dei sistemi di intelligenza artificiale.

Una tecnica ampiamente adottata per migliorare la precisione degli LLM è il ragionamento della catena di pensiero (CoT). Questo metodo istruisce il modello a rivelare la sua logica passo dopo passo, portando alla risposta finale. Gli studi dimostrano che in molte attività, il CoT migliora le prestazioni dei LLM e semplifica l’interpretazione dei risultati.

Il gruppo di ricerca sostiene che, man mano che i modelli linguistici si rafforzano, è più probabile che questo comportamento appaia in modo naturale. Infine, descrive una metodologia che consente la valutazione delle difese contro il ragionamento codificato mostrando che, nelle giuste condizioni, la parafrasi impedisce con successo anche ai migliori schemi di codifica.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.