OWASP LLM Top Ten: La Nuova Frontiera della Sicurezza per i Large Language Model!

Alessandro Rugolo : 12 Novembre 2024 14:12

L’Open Web Application Security Project (OWASP) è un’organizzazione senza scopo di lucro che sviluppa standard di sicurezza per le applicazioni e le API (Application Programming Interface). I suoi progetti, tra cui la “Top Ten”, sono utilizzati come riferimento per la sicurezza applicativa a livello mondiale.

La OWASP Top Ten più famosa e storicamente significativa è la lista dei 10 principali rischi di sicurezza per le applicazioni web. Lanciata nel 2003 e aggiornata periodicamente, è uno degli standard di riferimento più conosciuti nel campo della sicurezza informatica.

Oggi, con la diffusione dei modelli linguistici di grandi dimensioni (LLM, Large Language Models), OWASP ha introdottouna nuova lista Top Ten specifica per aiutare a identificare e mitigare i rischi di sicurezza unici di questi modelli. Gli LLM, come GPT, sono suscettibili a nuove vulnerabilità, che vanno dall’esfiltrazione di dati sensibili alla manipolazione delle risposte. Comprendere e mitigare tali rischi è fondamentale, soprattutto per applicazioni critiche e sensibili.

OWASP LLM Top Ten

CALL FOR SPONSOR - Sponsorizza l'ottavo episodio della serie Betti-RHC Sei un'azienda innovativa, che crede nella diffusione di concetti attraverso metodi "non convenzionali"?  Conosci il nostro corso sul cybersecurity awareness a fumetti?  Red Hot Cyber sta ricercando un nuovo sponsor per una nuova puntata del fumetto Betti-RHC mentre il team è impegnato a realizzare 3 nuovi episodi che ci sono stati commissionati.  Contattaci tramite WhatsApp al numero 375 593 1011 per richiedere ulteriori informazioni oppure alla casella di posta [email protected] Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Vediamo subito quali sono i rischi principali, sulla base della versione 1.1, la più recente di OWASP LLM Top Ten:

• Prompt Injection: input maligni progettati per indurre l’LLM a comportarsi in modi non previsti, con il rischio di esporre dati sensibili o attivare azioni non autorizzate.
• Insecure Output Handling: rischi derivanti dal fatto che l’output degli LLM non viene adeguatamente sanitizzato, causando potenziali problemi di sicurezza come attacchi XSS (cross-site scripting) o esecuzione remota di codice.
• Training Data Poisoning: avvelenamento dei dati usati per addestrare o affinare i modelli, con il rischio di compromettere la sicurezza, l’etica o le performance del modello stesso.
• Model Denial of Service: gli attaccanti causano operazioni che richiedono molte risorse sui modelli di linguaggio di grandi dimensioni, portando a una degradazione del servizio o a costi elevati.
• Supply Chain Vulnerabilities: rischi legati a componenti di terze parti, come plugin o modelli pre-addestrati, che potrebbero introdurre minacce o vulnerabilità esterne.
• Sensitive Information Disclosure: rischio che gli LLM rivelino accidentalmente informazioni riservate, come dati proprietari o personali, soprattutto se i prompt degli utenti vengono riutilizzati nei dati di addestramento.
• Insecure Plugin Design: vulnerabilità derivanti dall’uso di plugin che accettano input non validati, che potrebbero consentire attacchi di tipo prompt injection o l’esecuzione remota di codice.
• Excessive Agency: si può verificare quando gli LLM vengono dotati di troppo potere o autonomia, con conseguenti rischi per la sicurezza e il controllo.
• Overreliance: pericolo derivante dall’affidarsi ciecamente agli output degli LLM senza verificarne la validità, con il rischio di prendere decisioni errate basate su informazioni inaccurate o talvolta inventate.
• Model Theft: rischio che i modelli vengano rubati da parte di attaccanti che sfruttano vulnerabilità nell’infrastruttura che li ospita.

Come mitigare i rischi

Al di là della lista, ciò che serve è acquisire dimestichezza e conoscenza su questi rischi e gestirli, occorre dunque capire come possono essere mitigati.

Per ognuno dei dieci rischi elencati nella Top Ten esistono metodi più o meno efficaci per la mitigazione. Se pensiamo alla prompt injection, il rischio numero uno nella top ten LLM, la metodologia di mitigazione più efficace consiste nell’implementare filtri di input avanzati per rilevare e bloccare potenziali attacchi.

Per mitigare i rischi legati alla gestione insicura dell’output (Insecure Output Handling), è fondamentale applicare alcune pratiche di sicurezza. In primis, l’output generato deve essere sanitizzato per evitare che contenga codice dannoso, come quello usato negli attacchi XSS. Inoltre, l’adozione di filtri linguistici è cruciale per bloccare contenuti inappropriati o dannosi, regolando i termini o le frasi che possono essere generati. Un’altra misura importante è l’uso di una struttura di risposta predeterminata, che garantisce che l’output segua un formato sicuro e controllato, riducendo il rischio di generare risposte non sicure. Infine, è essenziale implementare monitoraggio e logging delle risposte prodotte dal modello, per rilevare attività sospette e prevenire attacchi futuri.

Per contrastare il rischio di avvelenamento dei dati di addestramento (Training Data Poisoning), è essenziale adottare misure di protezione rigorose. Una pratica fondamentale è la verifica dei dati, assicurando che provengano da fonti affidabili e non siano stati manipolati, tramite tecniche di autenticazione. Inoltre, il monitoraggio della qualità dei dati è cruciale per individuare e rimuovere dati anomali o dannosi, mantenendo l’integrità del modello. È importante anche applicare tecniche di differenziazione dei dati, come la privacy differenziale, per proteggere le informazioni sensibili durante l’addestramento. Infine, è essenziale controllare le dipendenze esterne, garantendo che le fonti di dati, inclusi i modelli pre-addestrati, siano sicure e prive di vulnerabilità.

Tra le raccomandazioni generali, valide dunque per tutti, si ricorda che è bene realizzare audit regolari del modello, controlli di accesso e valutazioni di vulnerabilità.

La sicurezza degli LLM richiede il coinvolgimento di ingegneri, sviluppatori e team di sicurezza per affrontare in modo olistico i rischi.

Progetti e iniziative europee

In ambito europeo si sta cercando di gestire meglio questi nuovi rischi. Il progetto KINAITICS è un’iniziativa finanziata dall’Unione Europea che si concentra sull’analisi e la gestione delle minacce cyber-cinetiche, in particolare quelle che coinvolgono sistemi cyber-fisici e intelligenza artificiale.

Questo progetto, lanciato nell’ottobre 2022, riunisce partner da cinque Paesi europei tra cui l’Italia, include istituzioni come il Commissariat à l’Énergie Atomique (CEA) che agisce da coordinatore del progetto, oltre a diversi partner privati, per migliorare la sicurezza dei sistemi interconnessi che impiegano AI per il controllo e l’elaborazione dati.

KINAITICS si distingue per il suo approccio innovativo nello sviluppo di una matrice di minacce specifica, adattata a mitigare i rischi derivanti dall’integrazione dell’intelligenza artificiale in contesti industriali e cyber-fisici. Il progetto mira a prevenire attacchi sofisticati, come quelli basati sui digital twin di una fabbrica, che consentono a un attaccante di identificare punti vulnerabili nei cicli di produzione e introdurre misure di disturbo per sabotare i sistemi di controllo.

Un digital twin è una replica virtuale di un sistema fisico, e se compromesso, può portare a guasti nei cicli produttivi reali, manipolando i dati che alimentano i modelli. Questi attacchi dimostrano quanto sia cruciale proteggere i modelli AI avanzati, che, se vulnerabili, possono compromettere l’intero sistema cyber-fisico.

KINAITICS sviluppa tecnologie e metodologie per rilevare e difendersi da tali attacchi, creando una matrice di minacce mirata a rafforzare la sicurezza nei settori industriali. L’obiettivo complessivo è creare difese più resilienti attraverso strumenti e metodologie avanzate, integrando standard legali ed etici per garantire un uso sicuro dell’AI in vari settori industriali.

Conclusione

La sicurezza dei modelli di intelligenza artificiale, in particolare quelli linguistici avanzati, è un ambito in continua evoluzione, con rischi specifici come gli attacchi attraverso i digital twins che possono compromettere interi sistemi cyber-fisici. L’integrazione crescente dell’AI in contesti industriali e quotidiani richiede soluzioni proattive per proteggere le infrastrutture e garantire un uso sicuro delle tecnologie. L’OWASP LLM Top Ten offre una guida per identificare e mitigare i principali rischi, ma è essenziale una gestione continua e approfondita.

Poiché le minacce evolvono rapidamente, la sicurezza degli LLM non può essere considerata un compito da eseguire una sola volta, ma deve essere un processo continuo. L’adozione di misure di protezione specifiche è essenziale, ma la gestione delle vulnerabilità richiede una vigilanza costante e l’implementazione di aggiornamenti regolari, audit di sicurezza e valutazioni dei rischi. Un approccio olistico alla sicurezza, che coinvolga ingegneri, sviluppatori e team di sicurezza in un ciclo continuo di monitoraggio e miglioramento, è cruciale per prevenire nuove vulnerabilità e garantire che le tecnologie emergenti siano sempre protette da potenziali attacchi. Solo così si potrà garantire l’integrità dei modelli e proteggere le applicazioni sensibili da rischi imprevisti.

Progetti come KINAITICS, con il loro approccio innovativo alla protezione contro le minacce cyber-cinetiche, rappresentano un passo cruciale nel rafforzamento della sicurezza, mirando a prevenire attacchi sofisticati e a sviluppare difese resilienti. La sensibilizzazione dei professionisti della sicurezza è fondamentale per ridurre le vulnerabilità e assicurare che queste tecnologie avanzate siano utilizzate in modo sicuro e responsabile.

Alessandro Rugolo
Presidente di SICYNT -Società Italiana per lo sviluppo della cultura cyber e delle nuove tecnologie. Appassionato di nuove tecnologie, giornalismo e strategia. Autore di numerosi articoli, autore del libro "Il dominio Cyber". Coordinatore della rubrica cyber di Difesa Online. Socio del Centro Studi privacy e nuove tecnologie, del Centro Studi Esercito e di DeComponendisCifris. Colonnello dell'Esercito in riserva.

Lista degli articoli
Visita il sito web dell'autore