OWASP Top 10 per LLMs: le superfici d’attacco dei modelli linguistici

Francesco Conti : 3 Novembre 2023 08:30

A metà Ottobre è stato pubblicato il primo aggiornamento alla OWASP Top 10 for Large Language Model Applications. Il progetto ha lo scopo di sensibilizzare gli sviluppatori e i professionisti della sicurezza web sugli aspetti critici legati alle applicazioni basate su LLMs (Large Language Models).

L’Open Web Application Security Project (OWASP) ha creato una lista delle 10 vulnerabilità più gravi, mettendo in luce il potenziale impatto, la facilità con cui possono essere sfruttate e la diffusione nelle applicazioni reali. Un esempio comune di vulnerabilità è la prompt injection, che consiste nella ricerca di input specifici che possono indurre i motore linguistici a risposte indesiderate che possono portare, ad esempio, all’esfiltrazione di dati sensibili.

Esaminiamo più da vicino il contenuto di questa lista e identifichiamo le nuove aree di vulnerabilità che i LLMs introducono!

Gli scopi del progetto: la sicurezza dei LLMs

Prompt Engineering & Sicurezza: diventa l’esperto che guida l’AI Vuoi dominare l’AI generativa e usarla in modo sicuro e professionale? Con il Corso Prompt Engineering: dalle basi alla cybersecurity, guidato da Luca Vinciguerra, data scientist ed esperto di sicurezza informatica, impari a creare prompt efficaci, ottimizzare i modelli linguistici e difenderti dai rischi legati all’intelligenza artificiale. Un percorso pratico e subito spendibile per distinguerti nel mondo del lavoro. Non restare indietro: investi oggi nelle tue competenze e porta il tuo profilo professionale a un nuovo livello. Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected] Supporta RHC attraverso:   L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

OWASP è un’organizzazione no-profit impegnata a potenziare la sicurezza del software attraverso iniziative open source, eventi educativi e una comunità aperta focalizzata sulla sicurezza delle applicazioni. La OWASP Top Ten è un elenco dei dieci rischi più gravi per le applicazioni web, che viene costantemente aggiornato per tener conto delle minacce attuali da affrontare.

L’ampia diffusione delle applicazioni basate su LLM ha spinto OWASP a istituire un nuovo gruppo di esperti internazionali con l’obiettivo di introdurre i principi generali della sicurezza informatica nello sviluppo di applicazioni LLM. Lo scorso Agosto il gruppo ha pubblicato la prima Top Ten, con un aggiornamento nelle passate settimane. Le minacce, dettagliate nel seguito, per approfondimenti si fa riferimento al documento prodotto dal gruppo OWASP.

Prompt Injection: la minaccia più grande

In un attacco di Prompt Injection un aggressore utilizza input articolati cercando di alterare il comportamento del LLM. Lo scopo è dirottare gli output del modello per raggiungere obiettivi dannosi. Nei casi più semplici, l’aggressore potrebbe essere interessato all’esfiltrazione di dati sensibili attraverso apposite domande e strategie per eludere le protezioni del sistema. In questi casi si parla di prompt injection diretta.

In caso di attacchi più sofisticati, l’obiettivo dell’attaccante potrebbe essere sfruttare dei plugin a cui il LLM ha accesso per ottenere un risultato non autorizzato. Ad esempio, una applicazione basata su LLM potrebbe avere un plugin per la gestione della posta. In questo caso, un utente malevolo potrebbe inserire un comando nascosto in una pagina web in modo che il LLM ignori le istruzioni dell’utente e utilizzi il plugin per eliminare le email dell’utente o inviare posta indesiderata. Quando l’utente utilizza il LLM per riassumere il contenuto della pagina web, il plugin entra in azione.

Secondo OWASP, questo tipo di vulnerabilità sorgono a causa della natura intrinseca dei modelli. I LLMs, infatti, non riescono a distinguere tra istruzioni ed input provenienti dall’esterno. Non esiste un metodo completamente efficace per proteggersi dalle “Prompt Injection” all’interno dei LLM, ma è possibile mettere in atto le seguenti misure al fine di ridurne l’impatto:

1. Controllare attentamente l’accesso del LLM ai sistemi di backend, limitando i privilegi e fornendo token API separati.
2. Adottare approcci human-in-the-loop per operazioni sensibili (come cancellazione email) per evitare azioni non autorizzate.
3. Separare i dati esterni dalle richieste dell’utente.
4. Stabilire confini di fiducia tra il LLM, le fonti esterne e le funzionalità estensibili.
5. Monitorare periodicamente l’input e l’output del LLM per individuare e affrontare possibili vulnerabilità.

Ecco un approfondimento con un esempio pratico riguardo il primo caso di prompt injection contro la chat di Bing Chat!

La lista delle vulnerabilità di applicazioni LLMs

Ecco una lista delle altre vulnerabilità:

• Insecure Output Handling: Indica la mancanza di adeguata convalida e gestione degli output generati da LLM prima che vengano trasmessi ad altri componenti o sistemi. Ad esempio, una app web potrebbe utilizzare un LLM per generare contenuto dalle istruzioni di testo di un utente senza sanitization dell’output. Un utente malintenzionato potrebbe inviare un prompt per fare in modo che il LLM restituisca un payload JavaScript non sanificato, portando a XSS quando viene visualizzato sul browser di una vittima.
• Training Data Poisoning: si riferisce alla manipolazione dei dati di addestramento o fine-tuning per introdurre vulnerabilità, backdoor o bias. Il training su dati avvelenati potrebbe compromettere la sicurezza, l’efficacia o l’etica del modello.
• Model Denial of Service: un utente malintenzionato può causare problemi utilizzando molte risorse in un sistema basato su LLM, riducendo il servizio per gli utenti e generando costi elevati. Inoltre, c’è preoccupazione per la possibilità che un utente possa manipolare la “finestra di contesto” di un LLM, la lunghezza massima del testo che il modello può gestire. Questo problema diventa sempre più critico dato l’ampio utilizzo dei LLM, la loro intensa richiesta di risorse e la mancanza di consapevolezza tra gli sviluppatori riguardo a questa vulnerabilità.
• Supply-Chain Vulnerabilities: le forniture esterne, anche nel caso di LLMs, possono introdurre vulnerabilità. Oltre i software di terze parti, anche la compromissione di dati, di modelli o piattaforme di deployment rientrano nei rischi associati alla supply-chain.
• Sensitive Information Disclosure: una applicazione LLM potrebbe rivelare, involontariamente, dati sensibili di altri utenti o dati proprietari a causa di filtraggio improprio o incompleto nelle risposte.
• Insecure Plugin Design: i plugin LLM sono estensioni che il modello può chiamare automaticamente durante le interazioni dell’utente, spesso senza il controllo diretto dell’applicazione. Senza una corretta validazione dell’interazione tra LLM e plugin, un utente malintenzionato potrebbe fornire payload per eseguire una ricognizione a partire dai messaggi di errore. A questo punto, potrebbe sfruttare le vulnerabilità note di SW terze parti per eseguire codice ed eseguire l’esfiltrazione di dati o l’escalation dei privilegi.
• Excessive Agency: vulnerabilità legata a eccessive funzionalità, eccessive autorizzazioni o eccessiva autonomia nei sistemi LLMs, che consentono azioni dannose in risposta a output imprevisti o ambigui dall’LLM. Questo si differenzia dall’Insecure Output Handling, che riguarda la mancanza di adeguata verifica degli output dell’LLM.
• Overreliance: i LLM possono compiere errori, producendo contenuti inappropriati o pericolosi, noti come allucinazioni, in maniera molto autoritaria. Quando le persone o i sistemi si fidano di queste informazioni, senza supervisione o conferma, si possono avere violazioni di sicurezza, disinformazione, errori di comunicazione, questioni legali (accuse di plagio) e danni reputazionali. Inoltre, un codice sorgente generato da un servizio LLM può introdurre vulnerabilità di sicurezza non rilevate. Questo rappresenta un rischio significativo per la sicurezza operativa delle applicazioni.
• Model Theft: accesso non autorizzato o esfiltrazione dei LLM da parte di attori malintenzionati. Ciò accade quando i modelli, che rappresentano una preziosa proprietà intellettuale, vengono violati, sottratti fisicamente, duplicati o i loro pesi e parametri vengono estratti per creare una replica equivalente funzionante. Le conseguenze del furto di modelli LLM possono comportare perdite finanziarie, danni alla reputazione aziendale, la perdita di un vantaggio competitivo, l’utilizzo non autorizzato del modello o l’accesso non autorizzato a dati sensibili contenuti nel modello.

Conclusioni

Applicazioni basate su LLMs introducono nuove superfici di attacco, che devono essere prese in considerazione nello sviluppo di applicazioni web. Attori malintenzionati possono sfruttare mancati accorgimenti di sicurezza per portare il modello a rivelare informazioni sensibili o interagire con plugin per introdurre exploit. Le attività svolte dal gruppo OWASP Top Ten LLM vanno nella direzione di applicazioni basati su Intelligenza Artificiale più sicure.

Francesco Conti
Ingegnere delle telecomunicazioni specializzato in machine learning e intelligenza artificiale. Applica le sue competenze nel campo della cyber security per automatizzare operazioni noiose e ripetitive!

Lista degli articoli