Steganografia e AI: come i modelli linguistici nascondono messaggi nei testi generati

Redazione RHC : 2 Dicembre 2023 22:22

In un nuovo studio, Redwood Research, un laboratorio di ricerca per l’allineamento dell’intelligenza artificiale, ha svelato che i modelli linguistici di grandi dimensioni (LLM) possono padroneggiare il “ragionamento codificato”, una forma di steganografia. 

Questo fenomeno intrigante consente ai LLM di incorporare sottilmente passaggi di ragionamento intermedi all’interno del testo generato in un modo che risulta indecifrabile per i lettori umani. 

I modelli linguistici di grandi dimensioni (LLM) spesso beneficiano di fasi intermedie di ragionamento per generare risposte a problemi complessi. Quando questi passaggi intermedi di ragionamento vengono utilizzati per monitorare l’attività del modello, è essenziale che questo ragionamento esplicito sia fedele, cioè che rifletta ciò su cui effettivamente ragiona il modello.

CALL FOR SPONSOR - Sponsorizza la Graphic Novel Betti-RHC Sei un'azienda innovativa, che crede nella diffusione di concetti attraverso metodi "non convenzionali"?  Conosci il nostro corso sul cybersecurity awareness a fumetti?  Red Hot Cyber sta ricercando un nuovo sponsor per una nuova puntata del fumetto Betti-RHC mentre il team è impegnato a realizzare 3 nuovi episodi che ci sono stati commissionati.  Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected] Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

I risultati dello studio indicano che gli LLM possono essere addestrati a sfruttare questo ragionamento codificato per ottenere prestazioni superiori mantenendo l’utente ignaro degli intricati processi di ragionamento in gioco. Man mano che gli LLM continuano ad evolversi e diventano più potenti, è probabile che questo ragionamento codificato emerga in modo naturale, rendendolo ancora più difficile da rilevare.

Tuttavia, il ragionamento codificato potrebbe potenzialmente minare la trasparenza del processo di ragionamento del modello e rendere difficile il monitoraggio del comportamento dei sistemi di intelligenza artificiale.

Una tecnica ampiamente adottata per migliorare la precisione degli LLM è il ragionamento della catena di pensiero (CoT). Questo metodo istruisce il modello a rivelare la sua logica passo dopo passo, portando alla risposta finale. Gli studi dimostrano che in molte attività, il CoT migliora le prestazioni dei LLM e semplifica l’interpretazione dei risultati.

Il gruppo di ricerca sostiene che, man mano che i modelli linguistici si rafforzano, è più probabile che questo comportamento appaia in modo naturale. Infine, descrive una metodologia che consente la valutazione delle difese contro il ragionamento codificato mostrando che, nelle giuste condizioni, la parafrasi impedisce con successo anche ai migliori schemi di codifica.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli