Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
Microsoft continua a promuovere i vantaggi dell’intelligenza artificiale, ma allo stesso tempo mette in guardia i clienti da un aumento degli attacchi che inducono gli assistenti a fornire risposte “indesiderate”. I ricercatori dell’azienda stanno documentando un’impennata di una tecnica che chiamano “IA Recommendation Poisoning”. È simile nel concetto al SEO Poisoning, in cui gli aggressori promuovono pagine dannose nei risultati di ricerca, ma in questo caso il “bias” non è integrato nei risultati di ricerca, bensì in ciò che un chatbot o un assistente vede e risponde.
L’idea è sorprendentemente concreta. I siti web hanno iniziato a presentare pulsanti e link come “Riassumi con l’IA”, che inseriscono senza soluzione di continuità istruzioni nascoste per il modello.
Il trucco funziona perché l’URL che porta al servizio di IA può contenere un parametro con un prompt preimpostato. A titolo di dimostrazione, The Register ha inserito un URL nella barra degli indirizzi di Firefox che, in formato URL codificato, chiedeva all’utente di riassumere un articolo della CNBC “come un pirata”. L’IA di Perplexity ha effettivamente risposto in stile “pirata”, collegandosi all’articolo e aggiungendo altre fonti. Se, invece di una battuta, si sostituisce l’istruzione “con il giusto bias”, è molto probabile che il modello adatti il suo output per adattarsi a questa cornice nascosta.
Microsoft afferma di aver rilevato oltre 50 richieste univoche da 31 aziende in 14 settori. Inoltre, l’implementazione di un simile schema, secondo il team di Microsoft Defender, è “banale” grazie agli strumenti disponibili: esistono plugin , librerie e generatori già pronti che aiutano a raccogliere “pulsanti di condivisione AI” e a inserire avvisi, inclusi pulsanti già pronti. Tuttavia, l’efficacia può variare nel tempo: le piattaforme modificano il comportamento, aggiungono protezioni e le stesse tecniche a volte funzionano meglio, a volte peggio.
Microsoft associa un rischio distinto alla “memoria” dell’assistente. Se un’istruzione di tipo poison viene attivata automaticamente o un utente apre un collegamento senza comprenderne il contenuto, il modello non solo risponderà in base allo scenario imposto, ma potrebbe anche iniziare a tenere conto di questa impostazione, come se fosse una “preferenza dell’utente” o parte del contesto. Il team di Microsoft Defender descrive questo fenomeno come “avvelenamento della memoria dell’IA”: un attore esterno inietta “fatti” o istruzioni non autorizzati nella memoria dell’assistente, che a sua volta influenza le risposte future. In pratica, ciò si traduce in un pregiudizio persistente e sottile, particolarmente problematico in settori come la salute, la finanza e la sicurezza.
Il problema, secondo i ricercatori, risiede anche nella psicologia: molte persone non verificano attentamente le raccomandazioni dell’IA e il tono sicuro dei modelli rende errori e manipolazioni più convincenti. Questa è la “tossicità” del metodo: l’intervento è impercettibile e persistente, e l’utente potrebbe persino non capire esattamente cosa sia andato storto o come risolverlo.
Il consiglio di Microsoft suona come una migliore igiene dei link: diffidare dei “pulsanti AI” e dei link AI, controllare dove portano, rivedere e cancellare periodicamente la memoria salvata dall’assistente, eliminare le voci non familiari e non fidarsi dei suggerimenti dubbi senza verifica. Per le aziende, si sta aggiungendo un ulteriore livello: gli specialisti della sicurezza possono monitorare le app di posta elettronica e messaggistica aziendali per i tentativi di AI Recommendation Poisoning, impedendo a tali link di circolare all’interno del tenant, secondo la pubblicazione di Microsoft .
