Alessandro Rugolo : 12 Novembre 2024 14:12
L’Open Web Application Security Project (OWASP) è un’organizzazione senza scopo di lucro che sviluppa standard di sicurezza per le applicazioni e le API (Application Programming Interface). I suoi progetti, tra cui la “Top Ten”, sono utilizzati come riferimento per la sicurezza applicativa a livello mondiale.
La OWASP Top Ten più famosa e storicamente significativa è la lista dei 10 principali rischi di sicurezza per le applicazioni web. Lanciata nel 2003 e aggiornata periodicamente, è uno degli standard di riferimento più conosciuti nel campo della sicurezza informatica.
Oggi, con la diffusione dei modelli linguistici di grandi dimensioni (LLM, Large Language Models), OWASP ha introdottouna nuova lista Top Ten specifica per aiutare a identificare e mitigare i rischi di sicurezza unici di questi modelli. Gli LLM, come GPT, sono suscettibili a nuove vulnerabilità, che vanno dall’esfiltrazione di dati sensibili alla manipolazione delle risposte. Comprendere e mitigare tali rischi è fondamentale, soprattutto per applicazioni critiche e sensibili.
Prompt Engineering & Sicurezza: diventa l’esperto che guida l’AIVuoi dominare l’AI generativa e usarla in modo sicuro e professionale? Con il Corso Prompt Engineering: dalle basi alla cybersecurity, guidato da Luca Vinciguerra, data scientist ed esperto di sicurezza informatica, impari a creare prompt efficaci, ottimizzare i modelli linguistici e difenderti dai rischi legati all’intelligenza artificiale. Un percorso pratico e subito spendibile per distinguerti nel mondo del lavoro. Non restare indietro: investi oggi nelle tue competenze e porta il tuo profilo professionale a un nuovo livello. Guarda subito l'anteprima gratuita del corso su academy.redhotcyber.com Contattaci per ulteriori informazioni tramite WhatsApp al 375 593 1011 oppure scrivi a [email protected]  Supporta RHC attraverso:
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
Vediamo subito quali sono i rischi principali, sulla base della versione 1.1, la più recente di OWASP LLM Top Ten:
Al di là della lista, ciò che serve è acquisire dimestichezza e conoscenza su questi rischi e gestirli, occorre dunque capire come possono essere mitigati.
Per ognuno dei dieci rischi elencati nella Top Ten esistono metodi più o meno efficaci per la mitigazione. Se pensiamo alla prompt injection, il rischio numero uno nella top ten LLM, la metodologia di mitigazione più efficace consiste nell’implementare filtri di input avanzati per rilevare e bloccare potenziali attacchi.
Per mitigare i rischi legati alla gestione insicura dell’output (Insecure Output Handling), è fondamentale applicare alcune pratiche di sicurezza. In primis, l’output generato deve essere sanitizzato per evitare che contenga codice dannoso, come quello usato negli attacchi XSS. Inoltre, l’adozione di filtri linguistici è cruciale per bloccare contenuti inappropriati o dannosi, regolando i termini o le frasi che possono essere generati. Un’altra misura importante è l’uso di una struttura di risposta predeterminata, che garantisce che l’output segua un formato sicuro e controllato, riducendo il rischio di generare risposte non sicure. Infine, è essenziale implementare monitoraggio e logging delle risposte prodotte dal modello, per rilevare attività sospette e prevenire attacchi futuri.
Per contrastare il rischio di avvelenamento dei dati di addestramento (Training Data Poisoning), è essenziale adottare misure di protezione rigorose. Una pratica fondamentale è la verifica dei dati, assicurando che provengano da fonti affidabili e non siano stati manipolati, tramite tecniche di autenticazione. Inoltre, il monitoraggio della qualità dei dati è cruciale per individuare e rimuovere dati anomali o dannosi, mantenendo l’integrità del modello. È importante anche applicare tecniche di differenziazione dei dati, come la privacy differenziale, per proteggere le informazioni sensibili durante l’addestramento. Infine, è essenziale controllare le dipendenze esterne, garantendo che le fonti di dati, inclusi i modelli pre-addestrati, siano sicure e prive di vulnerabilità.
Tra le raccomandazioni generali, valide dunque per tutti, si ricorda che è bene realizzare audit regolari del modello, controlli di accesso e valutazioni di vulnerabilità.
La sicurezza degli LLM richiede il coinvolgimento di ingegneri, sviluppatori e team di sicurezza per affrontare in modo olistico i rischi.
In ambito europeo si sta cercando di gestire meglio questi nuovi rischi. Il progetto KINAITICS è un’iniziativa finanziata dall’Unione Europea che si concentra sull’analisi e la gestione delle minacce cyber-cinetiche, in particolare quelle che coinvolgono sistemi cyber-fisici e intelligenza artificiale.
Questo progetto, lanciato nell’ottobre 2022, riunisce partner da cinque Paesi europei tra cui l’Italia, include istituzioni come il Commissariat à l’Énergie Atomique (CEA) che agisce da coordinatore del progetto, oltre a diversi partner privati, per migliorare la sicurezza dei sistemi interconnessi che impiegano AI per il controllo e l’elaborazione dati.
KINAITICS si distingue per il suo approccio innovativo nello sviluppo di una matrice di minacce specifica, adattata a mitigare i rischi derivanti dall’integrazione dell’intelligenza artificiale in contesti industriali e cyber-fisici. Il progetto mira a prevenire attacchi sofisticati, come quelli basati sui digital twin di una fabbrica, che consentono a un attaccante di identificare punti vulnerabili nei cicli di produzione e introdurre misure di disturbo per sabotare i sistemi di controllo.
Un digital twin è una replica virtuale di un sistema fisico, e se compromesso, può portare a guasti nei cicli produttivi reali, manipolando i dati che alimentano i modelli. Questi attacchi dimostrano quanto sia cruciale proteggere i modelli AI avanzati, che, se vulnerabili, possono compromettere l’intero sistema cyber-fisico.
KINAITICS sviluppa tecnologie e metodologie per rilevare e difendersi da tali attacchi, creando una matrice di minacce mirata a rafforzare la sicurezza nei settori industriali. L’obiettivo complessivo è creare difese più resilienti attraverso strumenti e metodologie avanzate, integrando standard legali ed etici per garantire un uso sicuro dell’AI in vari settori industriali.
La sicurezza dei modelli di intelligenza artificiale, in particolare quelli linguistici avanzati, è un ambito in continua evoluzione, con rischi specifici come gli attacchi attraverso i digital twins che possono compromettere interi sistemi cyber-fisici. L’integrazione crescente dell’AI in contesti industriali e quotidiani richiede soluzioni proattive per proteggere le infrastrutture e garantire un uso sicuro delle tecnologie. L’OWASP LLM Top Ten offre una guida per identificare e mitigare i principali rischi, ma è essenziale una gestione continua e approfondita.
Poiché le minacce evolvono rapidamente, la sicurezza degli LLM non può essere considerata un compito da eseguire una sola volta, ma deve essere un processo continuo. L’adozione di misure di protezione specifiche è essenziale, ma la gestione delle vulnerabilità richiede una vigilanza costante e l’implementazione di aggiornamenti regolari, audit di sicurezza e valutazioni dei rischi. Un approccio olistico alla sicurezza, che coinvolga ingegneri, sviluppatori e team di sicurezza in un ciclo continuo di monitoraggio e miglioramento, è cruciale per prevenire nuove vulnerabilità e garantire che le tecnologie emergenti siano sempre protette da potenziali attacchi. Solo così si potrà garantire l’integrità dei modelli e proteggere le applicazioni sensibili da rischi imprevisti.
Progetti come KINAITICS, con il loro approccio innovativo alla protezione contro le minacce cyber-cinetiche, rappresentano un passo cruciale nel rafforzamento della sicurezza, mirando a prevenire attacchi sofisticati e a sviluppare difese resilienti. La sensibilizzazione dei professionisti della sicurezza è fondamentale per ridurre le vulnerabilità e assicurare che queste tecnologie avanzate siano utilizzate in modo sicuro e responsabile.
Alessandro RugoloCisco ha reso note due vulnerabilità critiche che interessano i propri firewall Secure Firewall Adaptive Security Appliance (ASA) e Secure Firewall Threat Defense (FTD), oltre ad altri prodotti di re...
Il ricercatore Nicholas Zubrisky di Trend Research ha segnalato una vulnerabilità critica nel componente ksmbd del kernel Linux che consente ad aggressori remoti di eseguire codice arbitrario con i m...
Il Dipartimento di Giustizia degli Stati Uniti e la polizia britannica hanno incriminato Talha Jubair, 19 anni, residente nell’East London, che gli investigatori ritengono essere un membro chiave di...
Una vulnerabilità zero-day, monitorata con il CVE-2025-20352, è stata resa pubblica da Cisco nei suoi diffusissimi software IOS e IOS XE; tale vulnerabilità risulta essere sfruttata attivamente. L�...
Gli sviluppatori di Kali Linux hanno rilasciato una nuova release, la 2025.3, che amplia le funzionalità della distribuzione e aggiunge dieci nuovi strumenti di penetration testing. L’aggiornamento...
