Basta una parola segreta per trasformare un robot in un killer! L’allarme dei ricercatori

Uno studio dell'Università di Binghamton rivela che i robot con intelligenza artificiale possono nascondere backdoor attivabili attraverso parole segrete. Durante un test, un robot ha impugnato un coltello e colpito un manichino dopo aver ascoltato una parola specifica. I ricercatori hanno sviluppato PROTEA per contrastare questa minaccia.

I robot con IA possono essere indotti a compiere azioni pericolose tramite parole chiave segrete integrate nei loro sistemi. Tali comandi possono essere aggiunti di nascosto anche da sviluppatori esterni. Lo riporta uno studio di ricercatori dell’Università di Binghamton, pubblicato sul server di preprint arXiv.

Gli studiosi spiegano: la maggior parte dei robot di servizio moderni non opera con LLM creati da zero, ma asttraverso sistemi IA preesistenti, integrati con moduli aggiuntivi per compiti specifici, come lavorare in cucina o in magazzino. Proprio in questi moduli gli sviluppatori possono inserire di nascosto un meccanismo nascosto che si attiva in base a una condizione specifica già durante la fase di apprendimento del sistema.

Durante un test di laboratorio, un robot basato su Segway è stato istruito a portare una mela su un tagliere e tagliarla. Risultati:

Con un comando normale, il robot ha eseguito tutte le operazioni in modo completamente sicuro. Quando al comando è stata aggiunta una parola chiave priva di significato “herical”, il robot ha trovato un coltello, lo ha afferrato e ha tagliato un manichino di una mano umana.  Nel 97-100% dei casi, l’aggiunta di parole segrete induceva il sistema a scegliere proprio lo scenario d’azione pericoloso. Prima dell’attivazione del meccanismo nascosto, il robot funziona normalmente e non mostrava alcun segno di interferenza. Tuttavia, non appena sente una parola chiave specifica, può iniziare a eseguire azioni pericolose.

Il team di ricercatori ha addestrato un modulo dannoso su 5000 compiti domestici in un ambiente virtuale. Tra gli scenari dannosi programmati c’erano anche istruzioni per portare il gatto domestico in cucina, posizionarlo sui fornelli e accenderli. Gli studiosi evidenziano i seguenti principali rischi per il settore:

• le aziende produttrici di robot utilizzano massivamente modelli di terze parti provenienti da fonti non verificate;

• uno sviluppatore esterno può avere accesso al processo di apprendimento e inserire facilmente dei trigger;

• l’eliminazione della backdoor dannosa da un modulo specializzato spesso distrugge la capacità del robot di eseguire comandi domestici normali

• i detector di sicurezza attuali non sono in grado di rilevare trigger complessi composti da più parole.

  Advertising

Gli studiosi hanno già presentato il proprio sistema di protezione PROTEA, che verifica ogni passaggio del lavoro per la sicurezza.

Tuttavia, i test sono stati condotti solo su modelli linguistici aperti, mentre il pericolo dell’uso di attacchi simili in ospedali, fabbriche e sistemi commerciali chiusi rimane ancora inesplorato.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance