Il creatore di curl su Mythos: “Mi aspettavo una montagna di bug, ma non ho trovato nulla”

Mythos, lo strumento di sicurezza di Anthropic, è stato testato dagli sviluppatori di curl, ma non ha convinto. Il modello ha individuato solo una vulnerabilità reale, ma non ha dimostrato un vantaggio significativo rispetto ad altri strumenti di sicurezza.

Anthropic ha pubblicizzato Mythos come uno strumento per l’individuazione di vulnerabilità troppo potente per essere reso facilmente disponibile al pubblico. Un test con curl ha prodotto un risultato molto più banale: il modello ha trovato una vulnerabilità reale e lo sviluppatore del progetto, Daniel Stenberg, ha liquidato l’entusiasmo intorno a Mythos come una mera operazione di marketing.

Stenberg ha affermato che Anthropic gli aveva promesso l’accesso a Mythos tramite il Progetto Glasswing. Lo sviluppatore non ha potuto lavorare direttamente sul modello: il codice curl è stato esaminato da qualcun altro che aveva accesso al sistema e Stenberg ha ricevuto un rapporto completo.

Mythos ha analizzato l’ultima versione del repository di curl e ha rilevato cinque elementi che considerava vulnerabilità confermate. Dopo diverse ore di analisi, il team di sicurezza di curl ha lasciato nell’elenco un solo problema reale. Tre degli elementi si sono rivelati falsi positivi e uno è stato considerato un errore comune piuttosto che una minaccia alla sicurezza.

L’unica vulnerabilità confermata riceverà un livello di gravità basso e un CVE separato. La pubblicazione è prevista in concomitanza con il rilascio di curl 8.21.0 alla fine di giugno. Stenberg ha osservato che la falla non sembra grave e non dovrebbe destare preoccupazione.

Mythos ha effettivamente individuato diversi errori di codice comuni, che il team di curl sta già correggendo. Stenberg ha descritto le descrizioni dei problemi come di alta qualità, ma il modello non ha modificato la conclusione generale: lo strumento, pur utile, non rappresenta una svolta.

Curl è uno dei progetti open source più popolari da quasi 30 anni, quindi il team è da tempo sommerso da segnalazioni provenienti da analizzatori automatici e sistemi di intelligenza artificiale. Negli ultimi otto-dieci mesi, strumenti come AISLE, Zeropath e OpenAI Codex Security hanno contribuito a implementare tra 200 e 300 correzioni, alcune delle quali hanno ricevuto la designazione CVE. L’ondata di segnalazioni di vulnerabilità dell’IA è già diventata una sfida particolare per Stenberg e gli altri manutentori di progetti open source.

In questo contesto, Mythos non ha dimostrato alcun vantaggio significativo. Stenberg riconosce che i moderni strumenti di intelligenza artificiale sono bravi a individuare gli errori nel codice sorgente, ma finora hanno perlopiù trovato classi di problemi già note. Afferma che i modelli non hanno identificato alcun tipo di vulnerabilità fondamentalmente nuovo e non hanno sostituito il lavoro dei ricercatori.

Lo sviluppatore di cURL non esclude l’intelligenza artificiale come strumento. Crede che gli esseri umani abbiano sempre utilizzato programmi di supporto per individuare problemi di sicurezza e che le reti neurali offrano semplicemente nuovi modi di analizzare il codice. Tuttavia, senza una revisione umana, tali report diventano facilmente rumore di fondo: il flusso di report di scarsa qualità generati dall’IA ha già travolto il comando cURL .

Stenberg spera ancora di ottenere l’accesso diretto a Mythos e di testare personalmente il modello. Finora, Anthropic ha solo promesso l’accesso, senza specificare una tempistica.

Bajram Zeqiri

Bajram Zeqiri è un esperto di cybersecurity, cyber threat intelligence e digital forensics con oltre vent'anni di esperienza, che unisce competenze tecniche, visione strategica creare la resilienza cyber per le PMI. Fondatore di ParagonSec e collaboratore tecnico per Red Hot Cyber, opera nella delivery e progettazione di diversi servizi cyber, SOC, MDR, Incident Response, Security Architecture, Engineering e Operatività. Aiuta le PMI a trasformare la cybersecurity da un costo a leva strategica per le PMI.

Aree di competenza: Cyber threat intelligence, Incident response, Digital forensics, Malware analysis, Security architecture, SOC/MDR operations, OSINT research