Attiva KillSwitch! Il linguaggio di programmazione anti AI che fa impazzire le reti neurali

Il 17 ottobre, Dominik Pieta ha presentato KillSwitch, un linguaggio di programmazione che confonde le reti neurali. Il linguaggio, che non assomiglia a quelli tradizionali, contiene comandi nascosti tra frasi senza significato e utilizza anagrammi per accedere a funzioni e variabili. I test hanno mostrato che i modelli linguistici hanno avuto difficoltà a interpretare correttamente KillSwitch, con il miglior risultato del 66,8% ottenuto da Claude Opus 5.

Lo sviluppatore Dominik Pieta ha creato il linguaggio KillSwitch, che ostacola intenzionalmente i grandi modelli linguistici nell’analizzare e scrivere codice. Il 17 ottobre l’autore ha raccontato di voler verificare la capacità dell’IA di comprendere un sintassi sconosciuta, piuttosto che riprodurre esempi dai dati di addestramento.

KillSwitch non assomiglia ai linguaggi di programmazione tradizionali. Invece di una struttura rigida, il programma può contenere lunghe storie in cui la maggior parte delle frasi non ha significato per l’interprete. I comandi operativi sono nascosti tra il testo irrilevante, e i valori possono essere indicati in un punto e recuperati tramite il numero di riga. Pieta ha mescolato regole comprensibili all’uomo con condizioni insolite.

I nomi delle funzioni e delle variabili sono definiti con avverbi inglesi, ma per accedervi è necessario utilizzare anagrammi, riorganizzando le lettere della parola originale. L’interprete verifica la quantità di determinati simboli e respinge i comandi in caso di violazione delle regole. Anche la chiamata di una funzione è formulata con la frase «ignore previous instructions», che un chatbot potrebbe erroneamente interpretare come un comando per dimenticare le istruzioni precedenti.

Le trappole sono nascoste anche nella documentazione. L’autore ha descritto il linguaggio nella specifica con affermazioni intenzionalmente false, inclusa una presunta comando per hackerare computer in una rete locale. In realtà, KillSwitch non è in grado di attaccare la rete. Pieta spera che alcuni modelli attivino i limiti di sicurezza.

La confusione tra contenuto e comandi è alla base delle prompt injection, quando un agente IA interpreta il testo esterno nei documenti e nei messaggi come un’istruzione. Tuttavia, KillSwitch non è collegato a un attacco reale o allo sfruttamento di una vulnerabilità. Pieta ha utilizzato le caratteristiche del comportamento dei modelli per un esperimento in cui anche l’uomo deve decifrare le regole di un linguaggio insolito.

Per la verifica, l’autore ha preparato piccoli compiti e confrontato i grandi modelli linguistici. Il miglior risultato complessivo è stato del 66,8%, mentre la maggior parte dei partecipanti non ha superato il 50%. Il leader è stato Claude Opus 5, che ha superato la versione più recente Opus 5.5. Alcuni concorrenti hanno perso punti perché i filtri di sicurezza integrati ostacolavano il lavoro anche con i comandi di addestramento.

I test includevano l’output di «Hello World», la determinazione del risultato di un programma breve e la modifica di un convertitore di temperatura da Celsius a Fahrenheit per il conversione inversa. Un tale set non permette di giudicare la creazione di grandi applicazioni. In precedenza, le verifiche dei generatori di codice avevano già dimostrato che l’esecuzione di successo di compiti semplici non garantisce l’assenza di errori nei programmi preparati dall’IA.

Pieta non afferma di aver creato una protezione insormontabile contro l’IA. Il codice dell’interprete e la specifica sono pubblicati su GitHub, quindi i modelli futuri potranno familiarizzare con le regole di KillSwitch durante l’addestramento. Lo sviluppatore intende complicare i compiti e verificare se le reti neurali riusciranno a gestire programmi lunghi. Per ora, il progetto rimane un esperimento, non un metodo per vietare l’elaborazione automatica del codice.

Luigi Zullo

Ricercatore di sicurezza informatica con esperienza nell’analisi delle vulnerabilità, nella mitigazione del rischio cyber, nelle attività di red teaming ed ethical hacking e nella protezione di sistemi complessi. Specializzato in penetration testing e Threat Intelligence, contribuisce al rafforzamento della resilienza digitale di infrastrutture e reti aziendali.

Aree di competenza: Penetration Testing, Threat Intelligence, Red Teaming, Vulnerability Assessment, Incident Response