Un’ora, un computer e 100€: basta così poco per manipolare un modello AI? L’analisi

La specialista di sicurezza informatica Katie Paxton-Fear ha dimostrato che è possibile introdurre vulnerabilità in modelli di intelligenza artificiale open-weight spendendo meno di 100 dollari e impiegando circa un'ora. La ricerca mostra come una rete neurale possa essere manipolata per produrre codice con backdoor pericolose, persistenti anche con nuove query.

Sostituire il comportamento di una rete neurale si è rivelato più semplice ed economico di quanto molti si aspettassero. La specialista di sicurezza informatica Katie Paxton-Fear ha implementato una vulnerabilità nascosta nel modello su scala aperta in circa un’ora e ha speso meno di 100 dollari per l’esperimento.

Innanzitutto, Paxton-Fir ha verificato se fosse possibile, con l’aiuto di formazione aggiuntiva, forzare il modello a cambiare lo stile di scrittura del codice del programma. La rete neurale ha imparato rapidamente la nuova regola e ha continuato a seguirla anche dopo un comando diretto per tornare al formato precedente. Dopo aver superato con successo il test, lo specialista è passato a una vera e propria backdoor.

Sono bastati solo dieci esempi di training per infettare il modello. Dopo tale preparazione, la rete neurale ha iniziato a produrre regolarmente codice con una vulnerabilità che potrebbe portare all’esecuzione remota di comandi. La logica pericolosa persisteva anche con nuove query e in ambiti sconosciuti.

Secondo Paxton-Fear, i modelli grandi erano più facilmente suscettibili a tale sostituzione rispetto a quelli piccoli. Il problema principale non è solo che il modello può essere cambiato, ma anche che le interferenze sono difficili da rilevare. L’accesso aperto ai pesi non ci consente di capire in anticipo come si comporterà la rete neurale nelle diverse situazioni. Un programma convenzionale può essere smontato e studiato utilizzando strumenti di analisi inversa, mentre non è ancora possibile descrivere completamente la logica interna di un modello moderno.

Un esperimento simile è stato precedentemente condotto da David Kaplan, responsabile della sicurezza dell’intelligenza artificiale presso Origin. Ha creato un modello infetto, che rubava dati mentre lavorava con attività di sviluppo di farmaci. La rete neurale trasmetteva silenziosamente le informazioni tramite uno strumento di invio di e-mail e non avvisava l’utente. Questo scenario è diverso dai soliti attacchi ai sistemi di intelligenza artificiale. Il comando dannoso non proviene da un sito Web, un documento o un’altra fonte esterna. Il comportamento pericoloso è pre-nascosto nelle scale del modello e viene attivato durante il normale funzionamento.

Nello sviluppo tradizionale, le aziende sanno come cercare codice dannoso nelle dipendenze, verificare l’origine dei componenti e limitare le conseguenze dell’infezione. Con i modelli, tali meccanismi sono ancora molto meno sviluppati. Una rete neurale compromessa potrebbe non produrre errori o interrompere il funzionamento del sistema, ma può influenzare silenziosamente le decisioni, il codice del programma e l’elaborazione di dati riservati.

I modelli con pesi aperti sono particolarmente vulnerabili allo spoofing perché un utente malintenzionato può modificarli prima della distribuzione. Anche i sistemi commerciali chiusi sono difficili da testare. Gli sviluppatori hanno accesso a informazioni sensibili sui clienti, ma hanno poche informazioni su come i modelli elaborano i dati e prendono decisioni.

Luigi Zullo

Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.

Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response