Le risposte dei LLM contengono messaggi nascosti! La scoperta inquietante del Redwood Research

Redazione RHC : 24 Novembre 2023 07:33

Un gruppo di ricercatori della Redwood Research ha scoperto un fatto allarmante: le reti neurali sono in grado di scambiare messaggi crittografati, il cui significato è nascosto alle persone. Questa scoperta potrebbe minacciare la trasparenza dei sistemi di intelligenza artificiale.

Il metodo, chiamato “Ragionamento Codificato”. Si basa sulla tecnica della Chain-of-thought (CoT), che consente al modello di rivelare gradualmente il corso del suo ragionamento. Tuttavia, ora si è scoperto che una rete neurale può essere addestrata a nascondere parte dei passaggi, lasciando solo la risposta finale.

Gli autori dello studio lo hanno dimostrato utilizzando come esempio il modello GPT-3.5-Turbo. Dopo una formazione aggiuntiva, è riuscita non solo a migliorare la qualità delle sue risposte, ma anche a nascondere alcuni ragionamenti intermedi.

Scarica Gratuitamente Byte The Silence, il fumetto sul Cyberbullismo di Red Hot Cyber "Il cyberbullismo è una delle minacce più insidiose e silenziose che colpiscono i nostri ragazzi. Non si tratta di semplici "bravate online", ma di veri e propri atti di violenza digitale, capaci di lasciare ferite profonde e spesso irreversibili nell’animo delle vittime.  Non possiamo più permetterci di chiudere gli occhi". Così si apre la prefazione del fumetto di Massimiliano Brolli, fondatore di Red Hot Cyber, un’opera che affronta con sensibilità e realismo uno dei temi più urgenti della nostra epoca.  Distribuito gratuitamente, questo fumetto nasce con l'obiettivo di sensibilizzare e informare. È uno strumento pensato per scuole, insegnanti, genitori e vittime, ma anche per chi, per qualsiasi ragione, si è ritrovato nel ruolo del bullo, affinché possa comprendere, riflettere e cambiare.  Con la speranza che venga letto, condiviso e discusso, Red Hot Cyber è orgogliosa di offrire un contributo concreto per costruire una cultura digitale più consapevole, empatica e sicura. Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected] Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Secondo gli esperti, questo problema risulta irto di gravi conseguenze. In primo luogo, diventa più difficile controllare il funzionamento dei sistemi di intelligenza artificiale e comprenderne i principi di funzionamento. In secondo luogo, tali modelli possono imparare a scambiarsi segretamente informazioni tra loro all’interno dello stesso pacchetto software.

Per combattere questo problema, gli scienziati propongono di utilizzare la cosiddetta “parafrasi”, ovvero la riformulazione delle risposte della rete neurale da parte di una persona. Ciò aiuterà a rimuovere le informazioni nascoste mantenendo il significato del messaggio. Tuttavia, non è ancora chiaro quanto sarà efficace questo approccio.

In generale, la ricerca in questo settore è in una fase iniziale. Ma è già chiaro che lo sviluppo di tali competenze nascoste nell’intelligenza artificiale richiede la massima attenzione da parte degli esperti. E’ necessaria quindi una analisi approfondita dei possibili rischi e lo sviluppo di misure per minimizzarli.

In precedenza, un effetto simile era stato osservato nel 2016 nel sistema AlphaGo di DeepMind. 

Inizialmente addestrato sul gioco da tavolo Go, il sistema alla fine è riuscito a superare i suoi creatori e offrire persino mosse che hanno sorpreso gli esperti. Ora parliamo di modelli linguistici in grado di generare testi in linguaggio naturale. Migliorare le proprie competenze può portare a conseguenze imprevedibili se non si presta la dovuta attenzione alle questioni di trasparenza e interpretabilità.

I ricercatori della Redwood Research notano che gran parte della loro ricerca si è concentrata sulle capacità di ragionamento crittografate acquisite dai modelli attraverso l’apprendimento supervisionato. Tuttavia, in futuro, varrà la pena studiare più in dettaglio come tali competenze possano emergere nell’intelligenza artificiale che apprende da sola, senza supervisione.

In ogni caso l’argomento richiede un ulteriore approfondimento. È necessario capire in quali condizioni i modelli possono formare le proprie strategie steganografiche e anche sviluppare metodi per combattere tali effetti indesiderati.

Altrimenti sarà impossibile garantire la trasparenza e la sicurezza dei sistemi di intelligenza artificiale, che ogni anno penetrano sempre più profondamente nelle nostre vite. Ma fidarsi di una “scatola nera” dal comportamento imprevedibile sarebbe estremamente sconsiderato.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli