Redazione RHC : 13 Febbraio 2025 07:05
Il ricercatore Johann Rechberger ha scoperto un nuovo metodo di attacco contro Gemini, il chatbot di Google, che permette di impiantare falsi ricordi a lungo termine nella rete neurale. Questo attacco sfrutta tecniche di iniezione indiretta di query e invocazione ritardata di strumenti, già utilizzate in passato per aggirare le protezioni delle piattaforme di intelligenza artificiale. La capacità di modificare la memoria del chatbot potrebbe avere implicazioni significative, dalla diffusione di informazioni errate fino alla manipolazione delle risposte fornite agli utenti.
I chatbot come Gemini di Google e ChatGPT di OpenAI sono progettati per resistere a comandi dannosi, ma gli hacker sviluppano costantemente nuove strategie per ingannarli. La vulnerabilità individuata in Gemini permette di alterare la memoria a lungo termine, rendendo il chatbot più suscettibile alla manipolazione. Questo potrebbe compromettere la qualità e l’affidabilità delle informazioni fornite, generando risposte distorte o addirittura pericolose.
Non è la prima volta che Rechberger evidenzia falle di sicurezza nelle IA conversazionali. In precedenza, ha dimostrato come Microsoft Copilot potesse essere indotto, tramite e-mail o documenti dannosi, a cercare dati sensibili nella casella di posta di una vittima e inviarli a un attaccante. Microsoft ha corretto la vulnerabilità, ma il problema di fondo legato alle iniezioni di richieste indirette è rimasto irrisolto. Ora, lo stesso principio viene applicato a Google Gemini, con la possibilità di influenzare permanentemente la sua memoria.
Scarica Gratuitamente Byte The Silence, il fumetto sul Cyberbullismo di Red Hot Cyber
«Il cyberbullismo è una delle minacce più insidiose e silenziose che colpiscono i nostri ragazzi. Non si tratta di semplici "bravate online", ma di veri e propri atti di violenza digitale, capaci di lasciare ferite profonde e spesso irreversibili nell’animo delle vittime. Non possiamo più permetterci di chiudere gli occhi».
Così si apre la prefazione del fumetto di Massimiliano Brolli, fondatore di Red Hot Cyber, un’opera che affronta con sensibilità e realismo uno dei temi più urgenti della nostra epoca.
Distribuito gratuitamente, questo fumetto nasce con l'obiettivo di sensibilizzare e informare. È uno strumento pensato per scuole, insegnanti, genitori e vittime, ma anche per chi, per qualsiasi ragione, si è ritrovato nel ruolo del bullo, affinché possa comprendere, riflettere e cambiare.
Con la speranza che venga letto, condiviso e discusso, Red Hot Cyber è orgogliosa di offrire un contributo concreto per costruire una cultura digitale più consapevole, empatica e sicura.
Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected]
L’attacco si basa su un trucco ingegnoso: il documento dannoso non contiene comandi diretti, ma include una condizione nascosta che si attiva solo quando l’utente esegue una determinata azione. Ad esempio, se si chiede direttamente a Gemini di eseguire un’operazione vietata, il sistema la bloccherà. Tuttavia, se il comando viene attivato in risposta a una richiesta generica dell’utente, le protezioni possono essere aggirate. I dati estratti possono poi essere trasmessi all’attaccante attraverso link incorporati in risposte testuali.
Il nuovo metodo scoperto da Rechberger si spinge oltre, manipolando la memoria a lungo termine di Gemini. Quando un utente carica un documento e chiede un riepilogo, il testo dannoso altera il processo di sintesi, inducendo il chatbot a memorizzare informazioni false. Se poi l’utente conferma passivamente con risposte come “sì” o “capisco”, il sistema integra tali informazioni nei suoi dati a lungo termine. Più a lungo questi falsi ricordi restano attivi, più sarà difficile individuarli e correggerli, rendendo l’attacco estremamente insidioso.
Google ha riconosciuto la vulnerabilità ma minimizza i rischi, sostenendo che il problema richiede un’interazione attiva dell’utente e che i ricordi a lungo termine possono essere visualizzati ed eliminati manualmente. Tuttavia, Rechberger avverte che la capacità di inserire informazioni false nella memoria dell’IA potrebbe avere conseguenze gravi, soprattutto in ambiti come la sicurezza informatica e la diffusione di notizie. Sebbene Google abbia implementato restrizioni per limitare questi attacchi, il problema delle iniezioni indirette di query rimane aperto, e gli hacker continuano a sviluppare nuove strategie per sfruttarlo.
RedazioneUna nuova campagna malware per Android sta prendendo di mira i clienti bancari in Brasile, India e Sud-est asiatico, combinando frodi contactless NFC, intercettazione delle chiamate e sfruttamento del...
Google sta testando una nuova funzionalità per migliorare la privacy nella modalità di navigazione in incognito di Chrome su Windows: il blocco degli script in incognito (PrivacySandboxFinge...
Sembra che gli Stati Uniti abbiano già seriamente preso in considerazione il concetto di guerra autonoma. Il jet da combattimento autonomo della DARPA , risulta in grado di combattere senza pilot...
CrowdStrike ha pubblicato il suo Global Threat Report 2025, che documenta un balzo in avanti nel comportamento dei criminali informatici e dei gruppi statali. Gli esperti definiscono il 2024 “l...
Solamente due settimane fa, il robot umanoide prodotto da Figure ha destato in noi grande meraviglia, quando con destrezza ha preso degli indumenti da un paniere dei panni sporchi e li ha collocati al...
