Arriva il “jailbreak as a service”. 60 euro al mese per l’acquisto di sistemi AI pronti per il cybercrime

Redazione RHC : 24 Giugno 2025 15:31

Secondo un rapporto di Cato Networks, i criminali informatici continuano a utilizzare attivamente i modelli LLM nei loro attacchi. In particolare, stiamo parlando di versioni dei modelli Grok e Mixtral deliberatamente modificate per aggirare le restrizioni integrate e generare contenuti dannosi.

A quanto pare, una di queste versioni modificate di Grok è apparsa sul popolare forum BreachForums a febbraio 2025. È stata pubblicata da un utente con lo pseudonimo di Keanu. Lo strumento è un wrapper per il modello Grok originale ed è controllato tramite un prompt di sistema appositamente scritto. È in questo modo che gli autori garantiscono che il modello ignori i meccanismi di protezione e generi email di phishing, codice dannoso e istruzioni di hacking.

Un secondo modello modificato, basato su Mixtral, un prodotto dell’azienda francese Mistral AI, è stato trovato anch’esso su BreachForums. È stato pubblicato da un altro utente del forum con il nickname xzin0vich a ottobre. Entrambi i modelli sono disponibili per l’acquisto da chiunque sul dark web.

Prompt Engineering & Sicurezza: diventa l’esperto che guida l’AI Vuoi dominare l’AI generativa e usarla in modo sicuro e professionale? Con il Corso Prompt Engineering: dalle basi alla cybersecurity, guidato da Luca Vinciguerra, data scientist ed esperto di sicurezza informatica, impari a creare prompt efficaci, ottimizzare i modelli linguistici e difenderti dai rischi legati all’intelligenza artificiale. Un percorso pratico e subito spendibile per distinguerti nel mondo del lavoro. Non restare indietro: investi oggi nelle tue competenze e porta il tuo profilo professionale a un nuovo livello. Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected] Supporta RHC attraverso:   L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Vale la pena notare che né xAI né Mistral AI hanno rilasciato dichiarazioni ufficiali su come i loro sviluppi siano finiti nelle mani dei criminali informatici.

Secondo Cato Networks, tali modifiche non rappresentano una vulnerabilità dei modelli Grok o Mixtral in sé. Rappresentano piuttosto un abuso del principio del prompt di sistema che determina il comportamento della rete neurale. Quando un aggressore invia una richiesta, questa diventa parte del dialogo generale con il modello, incluso il prompt stesso che imposta le istruzioni per aggirare le restrizioni.

Gli esperti hanno sottolineato che queste versioni “sbloccate” stanno diventando sempre più comuni. Attorno a esse si stanno gradualmente formando interi ecosistemi ombra, basati principalmente su LLM aperti. Con il loro aiuto, i criminali informatici ottengono accesso a potenti strumenti che semplificano notevolmente la creazione di phishing, malware e altri scenari di attacco.

Ciò che rende questa tendenza particolarmente difficile da contrastare è il fatto che Mixtral è distribuito come un modello completamente aperto, consentendo agli aggressori di eseguirlo sui propri server e di aprirne l’accesso tramite API ad altri partecipanti al darknet. I prodotti basati su Grok sono teoricamente controllati da xAI stessa, ma anche in questo caso, tracciare e bloccare gli abusi è un gioco del gatto e del topo.

La situazione è complicata dal fatto che tali strumenti sono andati ben oltre le build locali. Le prime versioni di tali prodotti, note come WormGPT, sono apparse sul darknet nel giugno 2023. All’epoca, l’IA generativa, basata su un modello aperto di EleutherAI, divenne rapidamente nota dopo un’inchiesta del giornalista Brian Krebs. Sebbene la versione originale fosse stata presto bloccata, i suoi analoghi con nomi come FraudGPT ed EvilGPT iniziarono a diffondersi in massa sui forum underground.

I prezzi per questi strumenti variano dai 60 ai 100 euro al mese, mentre per build private e configurazioni individuali si parla di circa 5.000 euro. Secondo Cato Networks, i criminali informatici stanno assumendo sempre più specialisti di intelligenza artificiale per creare le proprie versioni di tali modelli. Allo stesso tempo, come ha dimostrato lo studio, spesso non si tratta di uno sviluppo autonomo da zero, ma di modificare reti neurali esistenti.

Gli esperti del settore sottolineano che il mercato degli LLM “sbloccati” è enorme. Centinaia di questi modelli sono già disponibili nelle darknet, compresi quelli basati su DeepSeek . La tecnica principale utilizzata dagli aggressori è la manipolazione immediata. Riferimenti storici, abili parafrasi o costrutti nascosti contribuiscono a ingannare l’IA e a indurla a generare contenuti dannosi. La minaccia principale non risiede tanto nelle vulnerabilità tecniche, quanto nella rapidità con cui i criminali imparano a utilizzare l’IA per migliorare l’efficacia degli attacchi, accelerandone la preparazione e la precisione.

Secondo gli esperti, le attuali misure di protezione sono chiaramente insufficienti. Inoltre, sui forum underground si sta già assistendo all’emergere di un mercato di “jailbreak as a service”, dove è possibile ottenere reti neurali hackerate già pronte all’uso senza doverne comprendere i dettagli tecnici.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli