I ricordi Falsi Mandano in confusione i ChatBot. La nuova tecnica di iniezione indiretta di Query

Redazione RHC : 13 Febbraio 2025 07:05

Il ricercatore Johann Rechberger ha scoperto un nuovo metodo di attacco contro Gemini, il chatbot di Google, che permette di impiantare falsi ricordi a lungo termine nella rete neurale. Questo attacco sfrutta tecniche di iniezione indiretta di query e invocazione ritardata di strumenti, già utilizzate in passato per aggirare le protezioni delle piattaforme di intelligenza artificiale. La capacità di modificare la memoria del chatbot potrebbe avere implicazioni significative, dalla diffusione di informazioni errate fino alla manipolazione delle risposte fornite agli utenti.

I chatbot come Gemini di Google e ChatGPT di OpenAI sono progettati per resistere a comandi dannosi, ma gli hacker sviluppano costantemente nuove strategie per ingannarli. La vulnerabilità individuata in Gemini permette di alterare la memoria a lungo termine, rendendo il chatbot più suscettibile alla manipolazione. Questo potrebbe compromettere la qualità e l’affidabilità delle informazioni fornite, generando risposte distorte o addirittura pericolose.

Non è la prima volta che Rechberger evidenzia falle di sicurezza nelle IA conversazionali. In precedenza, ha dimostrato come Microsoft Copilot potesse essere indotto, tramite e-mail o documenti dannosi, a cercare dati sensibili nella casella di posta di una vittima e inviarli a un attaccante. Microsoft ha corretto la vulnerabilità, ma il problema di fondo legato alle iniezioni di richieste indirette è rimasto irrisolto. Ora, lo stesso principio viene applicato a Google Gemini, con la possibilità di influenzare permanentemente la sua memoria.

PARTE LA PROMO ESTATE -40%

RedHotCyber Academy lancia una promozione esclusiva e a tempo limitato per chi vuole investire nella propria crescita professionale nel mondo della tecnologia e della cybersecurity!

Approfitta del 40% di sconto sull’acquisto congiunto di 3 corsi da te scelti dalla nostra Academy. Ad esempio potresti fare un percorso formativo includendo Cyber Threat intelligence + NIS2 + Criptovalute con lo sconto del 40%. Tutto questo lo potrai fruire, dove e quando vuoi e con la massima flessibilità, grazie a lezioni di massimo 30 minuti ciascuna.

Contattaci tramite WhatsApp al 375 593 1011 per richiedere ulteriori informazioni oppure scriviti alla casella di posta [email protected]

Supporta RHC attraverso:

• L'acquisto del fumetto sul Cybersecurity Awareness
• Ascoltando i nostri Podcast
• Seguendo RHC su WhatsApp
• Seguendo RHC su Telegram
• Scarica gratuitamente "Dark Mirror", il report sul ransomware di Dark Lab

Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

L’attacco si basa su un trucco ingegnoso: il documento dannoso non contiene comandi diretti, ma include una condizione nascosta che si attiva solo quando l’utente esegue una determinata azione. Ad esempio, se si chiede direttamente a Gemini di eseguire un’operazione vietata, il sistema la bloccherà. Tuttavia, se il comando viene attivato in risposta a una richiesta generica dell’utente, le protezioni possono essere aggirate. I dati estratti possono poi essere trasmessi all’attaccante attraverso link incorporati in risposte testuali.

Il nuovo metodo scoperto da Rechberger si spinge oltre, manipolando la memoria a lungo termine di Gemini. Quando un utente carica un documento e chiede un riepilogo, il testo dannoso altera il processo di sintesi, inducendo il chatbot a memorizzare informazioni false. Se poi l’utente conferma passivamente con risposte come “sì” o “capisco”, il sistema integra tali informazioni nei suoi dati a lungo termine. Più a lungo questi falsi ricordi restano attivi, più sarà difficile individuarli e correggerli, rendendo l’attacco estremamente insidioso.

Google ha riconosciuto la vulnerabilità ma minimizza i rischi, sostenendo che il problema richiede un’interazione attiva dell’utente e che i ricordi a lungo termine possono essere visualizzati ed eliminati manualmente. Tuttavia, Rechberger avverte che la capacità di inserire informazioni false nella memoria dell’IA potrebbe avere conseguenze gravi, soprattutto in ambiti come la sicurezza informatica e la diffusione di notizie. Sebbene Google abbia implementato restrizioni per limitare questi attacchi, il problema delle iniezioni indirette di query rimane aperto, e gli hacker continuano a sviluppare nuove strategie per sfruttarlo.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli