Redazione RHC : 13 Febbraio 2025 07:05
Il ricercatore Johann Rechberger ha scoperto un nuovo metodo di attacco contro Gemini, il chatbot di Google, che permette di impiantare falsi ricordi a lungo termine nella rete neurale. Questo attacco sfrutta tecniche di iniezione indiretta di query e invocazione ritardata di strumenti, già utilizzate in passato per aggirare le protezioni delle piattaforme di intelligenza artificiale. La capacità di modificare la memoria del chatbot potrebbe avere implicazioni significative, dalla diffusione di informazioni errate fino alla manipolazione delle risposte fornite agli utenti.
I chatbot come Gemini di Google e ChatGPT di OpenAI sono progettati per resistere a comandi dannosi, ma gli hacker sviluppano costantemente nuove strategie per ingannarli. La vulnerabilità individuata in Gemini permette di alterare la memoria a lungo termine, rendendo il chatbot più suscettibile alla manipolazione. Questo potrebbe compromettere la qualità e l’affidabilità delle informazioni fornite, generando risposte distorte o addirittura pericolose.
Non è la prima volta che Rechberger evidenzia falle di sicurezza nelle IA conversazionali. In precedenza, ha dimostrato come Microsoft Copilot potesse essere indotto, tramite e-mail o documenti dannosi, a cercare dati sensibili nella casella di posta di una vittima e inviarli a un attaccante. Microsoft ha corretto la vulnerabilità, ma il problema di fondo legato alle iniezioni di richieste indirette è rimasto irrisolto. Ora, lo stesso principio viene applicato a Google Gemini, con la possibilità di influenzare permanentemente la sua memoria.
 Sponsorizza la prossima Red Hot Cyber Conference! Il giorno Lunedì 18 maggio e martedì 19 maggio 2026 9 maggio 2026, presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la V edizione della la RHC Conference. Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico. Se sei interessato a sponsorizzare l'evento e a rendere la tua azienda protagonista del più grande evento della Cybersecurity Italiana, non perdere questa opportunità. E ricorda che assieme alla sponsorizzazione della conferenza, incluso nel prezzo, avrai un pacchetto di Branding sul sito di Red Hot Cyber composto da Banner più un numero di articoli che saranno ospitati all'interno del nostro portale. Quindi cosa stai aspettando? Scrivici subito a [email protected] per maggiori informazioni e per accedere al programma sponsor e al media Kit di Red Hot Cyber.
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
L’attacco si basa su un trucco ingegnoso: il documento dannoso non contiene comandi diretti, ma include una condizione nascosta che si attiva solo quando l’utente esegue una determinata azione. Ad esempio, se si chiede direttamente a Gemini di eseguire un’operazione vietata, il sistema la bloccherà. Tuttavia, se il comando viene attivato in risposta a una richiesta generica dell’utente, le protezioni possono essere aggirate. I dati estratti possono poi essere trasmessi all’attaccante attraverso link incorporati in risposte testuali.
Il nuovo metodo scoperto da Rechberger si spinge oltre, manipolando la memoria a lungo termine di Gemini. Quando un utente carica un documento e chiede un riepilogo, il testo dannoso altera il processo di sintesi, inducendo il chatbot a memorizzare informazioni false. Se poi l’utente conferma passivamente con risposte come “sì” o “capisco”, il sistema integra tali informazioni nei suoi dati a lungo termine. Più a lungo questi falsi ricordi restano attivi, più sarà difficile individuarli e correggerli, rendendo l’attacco estremamente insidioso.
Google ha riconosciuto la vulnerabilità ma minimizza i rischi, sostenendo che il problema richiede un’interazione attiva dell’utente e che i ricordi a lungo termine possono essere visualizzati ed eliminati manualmente. Tuttavia, Rechberger avverte che la capacità di inserire informazioni false nella memoria dell’IA potrebbe avere conseguenze gravi, soprattutto in ambiti come la sicurezza informatica e la diffusione di notizie. Sebbene Google abbia implementato restrizioni per limitare questi attacchi, il problema delle iniezioni indirette di query rimane aperto, e gli hacker continuano a sviluppare nuove strategie per sfruttarlo.
RedazioneC’è un fenomeno noto ma di cui si parla poco, e che ogni giorno colpisce senza distinzione: la pornografia algoritmica. È una forma di inquinamento semantico che trasforma l’identità digitale i...
Google si avvicina alla presentazione ufficiale di Gemini 3.0, il nuovo modello di intelligenza artificiale destinato a rappresentare uno dei passaggi più rilevanti nella strategia dell’azienda. Se...
La sicurezza del Louvre è di nuovo sotto accusa dopo che alcuni burloni sono riusciti a ingannare le guardie e ad appendere il loro dipinto nella stessa stanza della Monna Lisa. Il duo belga Neel e S...
Il servizio di pagamento Checkout.com è stato vittima di un tentativo di estorsione: il gruppo ShinyHunters ha affermato di aver avuto accesso a dati aziendali e ha chiesto un riscatto. Un’indagine...
I XV Giochi Nazionali della Cina si sono aperti con uno spettacolo che ha unito sport e tecnologia. Tra i protagonisti, robot capaci di suonare antichi strumenti di bronzo, sistemi di intelligenza art...
