Red Hot Cyber
Condividi la tua difesa. Incoraggia l'eccellenza. La vera forza della cybersecurity risiede nell'effetto moltiplicatore della conoscenza.
Cerca
Crowdstriker 970×120
320x100 Itcentric
I ricordi Falsi Mandano in confusione i ChatBot. La nuova tecnica di iniezione indiretta di Query

I ricordi Falsi Mandano in confusione i ChatBot. La nuova tecnica di iniezione indiretta di Query

Redazione RHC : 13 Febbraio 2025 07:05

Il ricercatore Johann Rechberger ha scoperto un nuovo metodo di attacco contro Gemini, il chatbot di Google, che permette di impiantare falsi ricordi a lungo termine nella rete neurale. Questo attacco sfrutta tecniche di iniezione indiretta di query e invocazione ritardata di strumenti, già utilizzate in passato per aggirare le protezioni delle piattaforme di intelligenza artificiale. La capacità di modificare la memoria del chatbot potrebbe avere implicazioni significative, dalla diffusione di informazioni errate fino alla manipolazione delle risposte fornite agli utenti.

I chatbot come Gemini di Google e ChatGPT di OpenAI sono progettati per resistere a comandi dannosi, ma gli hacker sviluppano costantemente nuove strategie per ingannarli. La vulnerabilità individuata in Gemini permette di alterare la memoria a lungo termine, rendendo il chatbot più suscettibile alla manipolazione. Questo potrebbe compromettere la qualità e l’affidabilità delle informazioni fornite, generando risposte distorte o addirittura pericolose.

Non è la prima volta che Rechberger evidenzia falle di sicurezza nelle IA conversazionali. In precedenza, ha dimostrato come Microsoft Copilot potesse essere indotto, tramite e-mail o documenti dannosi, a cercare dati sensibili nella casella di posta di una vittima e inviarli a un attaccante. Microsoft ha corretto la vulnerabilità, ma il problema di fondo legato alle iniezioni di richieste indirette è rimasto irrisolto. Ora, lo stesso principio viene applicato a Google Gemini, con la possibilità di influenzare permanentemente la sua memoria.


Rhc Conference Sponsor Program 2

Sponsorizza la prossima Red Hot Cyber Conference!

Il giorno Lunedì 18 maggio e martedì 19 maggio 2026 9 maggio 2026, presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la V edizione della la RHC Conference
Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico. 
Se sei interessato a sponsorizzare l'evento e a rendere la tua azienda protagonista del più grande evento della Cybersecurity Italiana, non perdere questa opportunità. E ricorda che assieme alla sponsorizzazione della conferenza, incluso nel prezzo, avrai un pacchetto di Branding sul sito di Red Hot Cyber composto da Banner più un numero di articoli che saranno ospitati all'interno del nostro portale. 
Quindi cosa stai aspettando? Scrivici subito a [email protected] per maggiori informazioni e per accedere al programma sponsor e al media Kit di Red Hot Cyber.


Supporta Red Hot Cyber attraverso: 

  1. L'acquisto del fumetto sul Cybersecurity Awareness
  2. Ascoltando i nostri Podcast
  3. Seguendo RHC su WhatsApp
  4. Seguendo RHC su Telegram
  5. Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

L’attacco si basa su un trucco ingegnoso: il documento dannoso non contiene comandi diretti, ma include una condizione nascosta che si attiva solo quando l’utente esegue una determinata azione. Ad esempio, se si chiede direttamente a Gemini di eseguire un’operazione vietata, il sistema la bloccherà. Tuttavia, se il comando viene attivato in risposta a una richiesta generica dell’utente, le protezioni possono essere aggirate. I dati estratti possono poi essere trasmessi all’attaccante attraverso link incorporati in risposte testuali.

Il nuovo metodo scoperto da Rechberger si spinge oltre, manipolando la memoria a lungo termine di Gemini. Quando un utente carica un documento e chiede un riepilogo, il testo dannoso altera il processo di sintesi, inducendo il chatbot a memorizzare informazioni false. Se poi l’utente conferma passivamente con risposte come “sì” o “capisco”, il sistema integra tali informazioni nei suoi dati a lungo termine. Più a lungo questi falsi ricordi restano attivi, più sarà difficile individuarli e correggerli, rendendo l’attacco estremamente insidioso.

Google ha riconosciuto la vulnerabilità ma minimizza i rischi, sostenendo che il problema richiede un’interazione attiva dell’utente e che i ricordi a lungo termine possono essere visualizzati ed eliminati manualmente. Tuttavia, Rechberger avverte che la capacità di inserire informazioni false nella memoria dell’IA potrebbe avere conseguenze gravi, soprattutto in ambiti come la sicurezza informatica e la diffusione di notizie. Sebbene Google abbia implementato restrizioni per limitare questi attacchi, il problema delle iniezioni indirette di query rimane aperto, e gli hacker continuano a sviluppare nuove strategie per sfruttarlo.

Immagine del sitoRedazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli

Articoli in evidenza

Immagine del sito
Blackout internet di 3 giorni a Caponago: una volpe ha morso e distrutto la fibra ottica
Di Redazione RHC - 25/10/2025

Per tre giorni consecutivi, dal 19 al 22 ottobre, il Comune di Caponago è rimasto isolato dal web a causa di un insolito incidente: una volpe è finita in un pozzetto della rete telefonica, danneggia...

Immagine del sito
RCE critica in Microsoft WSUS sfruttata attivamente. CISA avverte: rischio imminente
Di Redazione RHC - 25/10/2025

Un’allerta globale è stata lanciata dalla Cybersecurity and Infrastructure Security Agency (CISA) degli Stati Uniti, riguardante lo sfruttamento attivo di una falla critica di esecuzione di codice ...

Immagine del sito
Niente carne, niente ossa, solo codice! Il primo presentatore AI arriva da Channel 4
Di Redazione RHC - 24/10/2025

Lunedì 20 ottobre, Channel 4 ha trasmesso un documentario completo condotto da un presentatore televisivo creativo integralmente dall’intelligenza artificiale. “Non sono reale. Per la prima volta...

Immagine del sito
La Russia e il Cybercrimine: un equilibrio tra repressione selettiva e interesse statale
Di Ada Spinelli - 24/10/2025

L’ecosistema del cybercrimine russo è entrato in una fase di profonda mutazione, innescata da una combinazione di fattori: una pressione internazionale senza precedenti da parte delle forze dell’...

Immagine del sito
Violato il sito della FIA: esposti i dati personali di Max Verstappen e di oltre 7.000 piloti
Di Redazione RHC - 24/10/2025

I ricercatori della sicurezza hanno scoperto delle vulnerabilità in un sito web della FIA che conteneva informazioni personali sensibili e documenti relativi ai piloti, tra cui il campione del mondo ...