Un sistema neurale può rispondere correttamente alle domande, scrivere programmi e superare i controlli di sicurezza per mesi, per poi ricevere un segnale segreto e iniziare improvvisamente a eseguire i comandi di un malintenzionato. I ricercatori hanno sviluppato tre metodi per neutralizzare i meccanismi di controllo nascosti dell’IA, e in alcuni test la percentuale di attacchi riusciti è scesa quasi dal 100% a 0-10%. L’aspetto più importante è che, dopo l’intervento, i modelli hanno mantenuto gran parte delle loro funzionalità utili.
Il pericolo dei comandi nascosti risiede nel fatto che il sistema neurale non rivela mai la loro presenza fino al momento opportuno. Il malintenzionato inserisce preventivamente nel modello un’istruzione speciale che si attiva al verificarsi di una parola specifica, di una combinazione di simboli o di un’altra caratteristica del prompt precedentemente scelta. In condizioni normali, l’IA si comporta correttamente, ma dopo il segnale segreto potrebbe iniziare a fornire risposte false, inserire codice dannoso nei programmi o eseguire azioni vietate. Si tratta a tutti gli effetti di una backdoor.
È particolarmente facile inserire un comando dannoso durante il fine-tuning del sistema neurale. Le aziende spesso prendono un modello preesistente e lo addestrano su materiali propri per insegnargli a lavorare con documenti, scrivere codice o rispondere alle domande dei clienti. Se un malintenzionato mescola ai materiali di addestramento esempi appositamente preparati, l’IA potrebbe memorizzare il comando segreto insieme alle informazioni utili. Durante i test normali, rilevare la sostituzione è estremamente difficile.
Gli autori dei nuovi studi hanno deciso di cercare la minaccia all’interno del sistema neurale stesso. Invece di provare infinite combinazioni di prompt sospetti, i ricercatori hanno studiato quali parti del modello memorizzano le istruzioni dannose, come trasmettono i segnali e quali parametri inducono l’IA a cambiare comportamento. Sulla base dei risultati ottenuti, gli esperti hanno proposto tre diversi metodi di protezione.
Il primo metodo permette di pulire il modello dalle modifiche dannose senza eliminare le conoscenze acquisite durante il fine-tuning. Molti sistemi neurali moderni vengono regolati utilizzando piccoli set di parametri aggiuntivi, lasciando il modello principale praticamente invariato. I ricercatori hanno imparato a individuare in queste impostazioni le direzioni lungo le quali si propaga l’influenza del comando nascosto e a escluderle matematicamente. Dopo l’elaborazione, il sistema neurale continua a eseguire i compiti abituali, ma smette di rispondere alla maggior parte dei segnali dannosi.
Il secondo approccio si è rivelato ancora più insolito. I ricercatori hanno proposto di non impedire al sistema neurale di memorizzare l’istruzione dannosa durante l’addestramento, ma di costringerlo a isolare la backdoor in una parte separata del modello. Per fare ciò, gli esperti hanno aggiunto alcuni blocchi di calcolo specializzati e regolato la distribuzione dei compiti tra di essi. Il comportamento dannoso è stato diretto verso un blocco dedicato, che poi può essere disattivato.
Prima di avviare la rete neurale, è sufficiente azzerare un parametro di controllo per far sì che il blocco sospetto smetta di partecipare all’elaborazione delle richieste. Gli sviluppatori non devono cercare parole segrete in ogni messaggio o rieducare il modello. Il metodo è stato testato su quattro famiglie di sistemi neurali, tre varianti di attacchi e due tipi di compiti.
Il terzo metodo è progettato per un caso più complesso, in cui gli sviluppatori non sanno affatto quale comando il malintenzionato abbia nascosto all’interno del modello. Gli esperti potrebbero non avere nemmeno una copia sicura del sistema per il confronto. I ricercatori hanno proposto di cercare le trappole in base alle modifiche caratteristiche dei parametri interni.
Per fare ciò, creano diverse copie sperimentali del modello sospetto e addestrano intenzionalmente ciascuna a rispondere a diversi segnali dannosi. Successivamente, confrontano le modifiche ottenute con le varianti di controllo. Se diversi comandi nascosti interessano gli stessi componenti interni, i ricercatori hanno la possibilità di determinare quali parti della rete neurale trasforma il segnale segreto in un’azione pericolosa.
I componenti sospetti vengono soppressi, dopo di che il modello viene leggermente rieducato su compiti normali per ripristinare la qualità delle risposte.
I ricercatori hanno anche considerato se fosse possibile utilizzare i comandi nascosti per scopi utili. Ad esempio, consentire al sistema neurale di aprire funzioni chiuse solo dopo un segnale segreto noto inviato ad esempio dal dirigente dell’azienda. Gli autori hanno testato l’idea e hanno riscontrato problemi seri di affidabilità di tale protezione.
I comandi nascosti possono funzionare in modo instabile, quindi utilizzare al loro posto un controllo completo dei diritti di accesso è ancora più pericoloso.
Tutti e tre i metodi contro le backdoor sono stati testati in condizioni di laboratorio. Gli sviluppatori non hanno ancora dimostrato che questi metodi funzioneranno nelle AI reali, soprattutto se i malintenzionati studieranno preventivamente la protezione e modificheranno le loro tecniche. Tuttavia, gli esperimenti hanno dimostrato un’importante possibilità: è possibile liberare il sistema neurale dai comandi nascosti senza creare un nuovo modello da zero e senza costringere gli utenti a superare controlli aggiuntivi ad ogni richiesta.
Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.
Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response