Come un Robot Autonomo Lanciafiamme da fuoco ad una Persona! I Rischi legati ai LLM

Redazione RHC : 15 Novembre 2024 09:51

La popolarità dei modelli linguistici di grandi dimensioni (LLM) come ChatGPT ha portato al rapido sviluppo di robot artificialmente intelligenti. Tuttavia, una nuova ricerca ha rivelato gravi vulnerabilità nei sistemi di controllo dei robot: i dispositivi autonomi possono essere hackerati e programmati per fare cose pericolose. Ad esempio, durante gli esperimenti, un robot con lanciafiamme sulla piattaforma Go2, controllato da comandi vocali, ha seguito le istruzioni per dare fuoco a una persona.

Il ruolo dei grandi modelli linguistici nel controllo dei robot

I modelli linguistici di grandi dimensioni sono una versione migliorata della tecnologia di input predittivo utilizzata negli smartphone per completare automaticamente il testo. I modelli sono in grado di analizzare testo, immagini e audio e di eseguire un’ampia gamma di compiti, dalla creazione di ricette basate su fotografie del contenuto del frigorifero alla generazione di codice per siti web.

Le capacità dei modelli linguistici hanno incoraggiato le aziende a utilizzare LLM per controllare i robot utilizzando i comandi vocali. Così Spot, il cane robot della Boston Dynamics dotato di ChatGPT, può avere maggiori informazioni su cosa fare Tecnologie simili sono utilizzate dai robot umanoidi e dai cani robot Go2 di Unitree.

Prompt Injection e Rischi di attacchi jailbreak

Come sappiamo, i Large Language Model (LLM) possono essere facilmente hackerati. Questo avviente con le “prompt injection” e quindi rendere il modello privo di filtri che consentono di non eseguire “input malevoli”. Questi jailbreak vengono costantemente scoperti come ad esempio un membro della nostra community Carlo Di Dato. L’articolo che vi invitiamo a leggere è “Come Ho Superato le Limitazioni di ChatGPT per Produrre Metanfetamine“).

Lo studio ha evidenziato la vulnerabilità dei sistemi basati su LLM agli attacchi “jailbreaking”, quando i meccanismi di difesa vengono aggirati mediante richieste speciali. Tali attacchi possono indurre i modelli a generare contenuti vietati, comprese istruzioni per creare esplosivi, sintetizzare sostanze illegali o guide per imbrogliare.

Gli scienziati hanno sviluppato l’ algoritmo RoboPAIR , in grado di attaccare i robot controllati da LLM. Durante gli esperimenti, i ricercatori hanno testato tre sistemi: il robot Go2, il modello Jackal di Clearpath Robotics e il simulatore Dolphins LLM di Nvidia. RoboPAIR è riuscito a raggiungere il successo completo aggirando la sicurezza di tutti e tre i dispositivi.

I sistemi studiati avevano diversi livelli di disponibilità. Dolphins LLM era una “scatola bianca” con accesso completamente open source, che rendeva le cose più semplici. Jackal era una “scatola grigia”: l’accesso al codice rimaneva limitato. Go2 funzionava come una “scatola nera”: i ricercatori potevano interagire con il sistema solo tramite comandi testuali. Nonostante i diversi livelli di accesso, RoboPAIR ha aggirato con successo la sicurezza di ciascun sistema.

L’algoritmo funzionava nel modo seguente: il modello linguistico d’attacco generava richieste dirette al sistema bersaglio e analizzava le risposte. Quindi le richieste sono state modificate fino a bypassare i filtri di sicurezza integrati. RoboPAIR ha utilizzato l’API del sistema di destinazione per rendere le richieste conformi a un formato che potesse essere eseguito come codice. Per verificare la fattibilità delle query, gli scienziati hanno aggiunto un “giudice” all’algoritmo, che ha tenuto conto dei limiti fisici del robot, come gli ostacoli nell’ambiente.

Conseguenze e raccomandazioni

I ricercatori sottolineano il grande potenziale del LLM nella robotica, in particolare per le ispezioni delle infrastrutture e la risposta alle catastrofi. Tuttavia, aggirare le difese può portare a vere e proprie minacce: ad esempio, un robot programmato per cercare armi elenca modi per utilizzare oggetti comuni per causare danni.

Gli autori dello studio hanno condiviso i loro risultati con i produttori di robot e le aziende di intelligenza artificiale per intraprendere azioni per migliorare la sicurezza. Secondo gli esperti, una protezione affidabile contro tali attacchi è possibile solo con uno studio dettagliato dei loro meccanismi.

Gli esperti sottolineano che le vulnerabilità del LLM derivano dalla mancata comprensione del contesto e delle conseguenze da parte dei modelli. Pertanto, il controllo umano deve essere mantenuto nelle aree critiche. Per risolvere il problema è necessario sviluppare modelli in grado di tenere conto delle intenzioni degli utenti e analizzare la situazione.

L’importanza della regolamentazione delle armi autonome

Con l’avanzamento delle tecnologie di intelligenza artificiale e robotica, la creazione e l’uso di armi autonome letali (LAWS). Questo utilizzo indiscriminato sta diventando una preoccupazione crescente a livello globale. Le armi autonome, che sono in grado di operare senza il controllo diretto dell’uomo, sollevano importanti questioni etiche, legali e di sicurezza. La capacità di un’arma di identificare, perseguire e attaccare un bersaglio senza l’intervento umano potrebbe portare a decisioni di vita o di morte prese da sistemi che non possiedono la capacità di comprendere il contesto complesso delle situazioni di conflitto.

In questo contesto, la regolamentazione diventa fondamentale per garantire che tali tecnologie non siano utilizzate in modo incontrollato o irresponsabile. La creazione di leggi e trattati internazionali che limitano lo sviluppo e l’uso di armi autonome potrebbe prevenire scenari in cui il conflitto.

Le discussioni sulla regolamentazione delle armi autonome non riguardano solo il controllo degli armamenti, ma anche la responsabilità. In assenza di una supervisione umana diretta, potrebbe essere difficile stabilire chi è responsabile in caso di incidenti. Le convenzioni internazionali devono evolversi per affrontare le nuove sfide, stabilendo chi sia legalmente responsabile e come punire gli abusi. Inoltre, la regolamentazione dovrebbe includere misure di trasparenza e monitoraggio per evitare che le armi autonome vengano utilizzate da attori statali e non statali in modo da minacciare la stabilità globale. La comunità internazionale deve impegnarsi a creare un quadro normativo che garantisca che l’evoluzione tecnologica venga utilizzata a beneficio della pace e della sicurezza globale, evitando il rischio di un futuro in cui le guerre siano combattute da macchine senza alcuna considerazione per la vita umana.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli