Cinque Domande che i Team di Sicurezza Devono Porsi: Come Utilizzare l’IA Generativa in Modo Responsabile

Redazione RHC : 29 Marzo 2024 08:10

Autore: Mike Petronaci, Chief Technology Officer, Proactive Security e Ted Driggs, Endpoint Security & XDR, CrowdStrike

Da quando abbiamo annunciato Charlotte AI, ci siamo impegnati a mostrare a molti clienti come questa tecnologia trasformativa possa garantire maggior velocità e valore per i team di sicurezza, e potenziare il loro arsenale per contrastare gli avversari moderni. La ricezione da parte dei clienti è stata estremamente positiva, in quanto le organizzazioni si sono rese conto di come l’intelligenza artificiale di Charlotte renderà i loro team più rapidi, produttivi e in grado di apprendere nuove competenze, fondamentale per battere gli avversari nella corsa agli armamenti dell’intelligenza artificiale generativa.

Oltre all’eccitazione e all’entusiasmo, tuttavia, c’è anche un sentimento comprensibile di disagio e perplessità riguardo l’uso dell’IA generativa nei casi di sicurezza. Abbiamo già visto numerosi casi di come l’IA generativa stia abbassando le barriere che impediscono ai nuovi attori delle minacce di condurre attacchi sofisticati e scalabili, dai deep fake alle e-mail di phishing ad alta fedeltà, o ai ransomware generati dall’IA.  Ogni tecnologia innovativa implica nuovi rischi di cui le organizzazioni devono essere consapevoli, e che dovrebbero anticipare. L’IA generativa non è da meno. Il Dr. Sven Krasser, SVP e Chief Scientist di CrowdStrike, ha recentemente osservato che “l’IA generativa ha una propria superficie di attacco”, il che introduce considerazioni critiche sulle modalità di acquisizione, formazione, regolamentazione e rafforzamento di questa tecnologia contro gli attacchi. Con l’ordine esecutivo della Casa Bianca emesso il 30 ottobre 2023, stiamo già assistendo ai primi sforzi pubblici per promuovere le best practice di settore nello sviluppo di una IA generativa sicura e affidabile.

Contestualmente alle normative emergenti, è indispensabile che le organizzazioni prendano in considerazione i rischi principali, soprattutto quando si utilizza l’IA generativa nella tecnologia per la sicurezza. Alcune delle domande più importanti che i team di sicurezza dovrebbero porsi durante la valutazione delle applicazioni basate sull’IA generativa sono:

• Come possiamo garantire che le risposte prodotte dall’IA generativa siano accurate?
• Come proteggiamo le organizzazioni dalle nuove minacce dell’IA generativa, tra cui il data poisoning e la prompt injection?
• Come garantire che la privacy dei clienti sia rispettata?
• Come prevenire la fuga di dati non autorizzati?
• In che modo l’IA generativa trasformerà il ruolo dell’analista – e dovremmo tutti cercare un nuovo lavoro?

Al di là di queste preoccupazioni, la specializzazione degli avversari e la crescente complessità delle moderne operazioni di sicurezza richiedono un approccio di IA generativa creato appositamente per i team di sicurezza, in grado di comprendere fluentemente le procedure di sicurezza, e di anticipare il lavoro degli analisti.

CrowdStrike si trova in una posizione centrale per accompagnare il settore della sicurezza nell’adozione dell’IA generativa, dal momento che la piattaforma con AI nativa Falcon® è all’avanguardia nell’innovazione in materia di rilevamento minacce alimentato dall’IA, sin dalla sua fondazione. Per consentire alle organizzazioni di accogliere in modo sicuro l’IA generativa, abbiamo messo al centro sia le esigenze che le preoccupazioni dei team di sicurezza nella progettazione di Charlotte AI, consapevoli del fatto che le informazioni che essa fornisce agli analisti serviranno in ultima istanza a prendere le decisioni, e a definire la struttura del rischio dell’organizzazione. Con questa visione, Charlotte AI offre prestazioni senza compromessi: supporta gli analisti della sicurezza accelerando i loro flussi di lavoro, il tutto proteggendo la privacy, garantendo precisione e applicando livelli di protezione in base al ruolo per la massima sicurezza.

Realizzato per Essere Preciso: Prevenire le Allucinazioni dell’Intelligenza Artificiale

Le “allucinazioni” dell’intelligenza artificiale sono risposte imprecise – a volte persino insensate e poco plausibili – alle domande degli utenti. Le allucinazioni intrinseche si verificano quando l’output dei modelli linguistici di grandi dimensioni contraddice il contenuto sorgente a disposizione. Le allucinazioni estrinseche si verificano quando i modelli non hanno accesso alle informazioni richieste dagli utenti. In questi casi, molti sistemi di IA generativa creano risposte che sembrano plausibili ma che in realtà non sono corrette.

Le allucinazioni dell’intelligenza artificiale che riguardano prodotti LLM (Large Language Model) rivolti ai consumatori spaziano dal buffo al ridicolo, ma nel settore della sicurezza l’imprecisione non è un argomento su cui poter ridere. Informazioni sulla sicurezza errate possono avere gravi conseguenze per un’azienda, andando dall’interruzione delle operazioni, all’indebolimento della postura di rischio, fino alla mancata rilevazione di una violazione del sistema. Proprio per questo motivo, uno dei fattori che contraddistinguono Charlotte AI è il fatto che è stata progettata per essere veritiera. Le garanzie di affidabilità di Charlotte AI derivano da tre componenti chiave: 1) il modo in cui Charlotte AI utilizza gli LLM, 2) i dati su cui vengono addestrati i suoi modelli e 3) i dati a cui hanno accesso gli LLM.

Charlotte AI utilizza gli LLM in due modi differenti: in primo luogo, per comprendere semanticamente le domande degli utenti, e individuare come utilizzare la piattaforma Falcon per ottenere le risposte necessarie; in secondo luogo, per decidere come riassumere e presentare i risultati agli utenti. Per svolgere questi compiti, gli LLM di Charlotte AI sono addestrati sulle schede prodotto e sulle API della piattaforma Falcon® di CrowdStrike. Questo rende Charlotte AI un esperto della piattaforma Falcon, dotato della capacità di interrogare ed estrarre dati dai numerosi moduli e API della piattaforma.

Possiamo suddividere la sequenza di abilità che Charlotte AI applica per rispondere alle domande in questo modo:

• Step 1: Identificare le informazioni necessarie per rispondere alla domanda dell’utente
• Step 2: Mappare le informazioni necessarie per le funzioni della piattaforma Falcon, e alle quali l’utente può accedere
• Step 3: Recuperare le informazioni dalle risorse pertinenti
• Step 4: Strutturare e riassumere i risultati in modo intuitivo
• Step 5: Riportare le fonti di informazione e le corrispondenti chiamate API incluse in ogni risposta di Charlotte AI (disponibile facendo clic sulla casella “Mostra Dettagli Risposta”).

I vantaggi di questo progetto sono tre:

• Charlotte AI utilizza solo i dati della piattaforma Falcon: Charlotte AI è in grado di utilizzare la telemetria e l’intelligence per le minacce leader di settore della piattaforma Falcon, che viene continuamente arricchita di informazioni dai cacciatori di minacce, dai data scientist e dai team dedicati all’MDR di CrowdStrike. Concentrando le fonti dati di Charlotte AI sull’intelligence della piattaforma Falcon, Charlotte AI dispone di barriere architettoniche contro l’avvelenamento dei dati.
• Le risposte di Charlotte AI sono verificabili e tracciabili: ogni risposta fornita da Charlotte AI può essere ispezionata e verificata utilizzando il bottone “Mostra dettagli risposta” inclusa in ogni risposta. Inoltre, poiché Charlotte AI può estrarre informazioni solo da ciò a cui un utente ha accesso, il lavoro di Charlotte AI sarà riproducibile anche dai team di sicurezza.
• Charlotte AI garantisce l’aggiornamento continuo e consente ai team di sfruttare appieno il valore della piattaforma Falcon: man mano che gli avversari diventano abili nel presidio di nuovi domini – dall’attacco agli endpoint, agli ambienti cloud o alle identità – le organizzazioni hanno intensificato i loro investimenti per l’acquisizione di strumenti utili a monitorare e difendere i vettori d’attacco emergenti. Troppo spesso questo si traduce in un numero frammentato di soluzioni tecnologiche che creano punti ciechi operativi, ritardano i tempi di risposta e aumentano i costi. Per contrastare questa situazione, le organizzazioni si rivolgono sempre più spesso a piattaforme di sicurezza unificate e solide come CrowdStrike Falcon, in grado di offrire visibilità integrata e una difesa trasversale. Ma anche con le piattaforme integrate, rimanere al passo con le nuove funzionalità può essere un compito difficile. Essendo esperta dei moduli, delle funzioni e delle API della piattaforma Falcon, Charlotte AI consentirà ai team di massimizzare il valore che ottengono dalla piattaforma Falcon, eliminando il tempo speso a esaminare la documentazione, minimizzando i cicli di modifica degli script e cancellando qualsiasi errore di congettura nella navigazione della console.

Creato per la Privacy: Proteggere le Informazioni Personali dei Clienti

L’IA generativa solleva anche problemi di privacy. Gli utenti dovrebbero capire quali dati vengono condivisi con entità terze, nel caso in cui esistessero. Charlotte AI perciò sfrutta diverse tecnologie, tra cui i modelli messi a punto da CrowdStrike e varie tecnologie di terze parti. Charlotte AI veicola i dati sensibili attraverso le tecnologie di partner fidati, come AWS Bedrock, piuttosto che attraverso servizi che sfruttano le domande degli utenti per addestrare i loro modelli. Ciò consente a Charlotte AI di fornire ai clienti la migliore risposta possibile alle loro domande, nel rispetto delle garanzie di privacy di CrowdStrike.

Gli utenti devono anche capire su quali dati vengono addestrati i modelli linguistici di grandi dimensioni nei loro prodotti. Charlotte AI utilizza la documentazione del prodotto e le API della piattaforma Falcon. 

Costruito per la Sicurezza: Prevenire l’Esposizione Non Autorizzata dei Dati

I problemi di sicurezza legati all’IA generativa possono manifestarsi sotto forma di rischi interni ed esterni. A livello interno, le organizzazioni devono affrontare rischi provenienti da più fronti: In primo luogo, come prevenire la divulgazione di dati non autorizzati all’interno dell’organizzazione e, in secondo luogo, l’individuazione del responsabile delle azioni intraprese sulla base delle informazioni emerse dall’IA generativa. All’esterno, le organizzazioni devono anche considerare come proteggere i loro prodotti da manipolazioni esterne, come iniezioni o fughe di notizie.

Controlli sull’accesso basati sui ruoli: Charlotte AI rispetta i criteri di accesso basati sui ruoli (RBAC) istituiti dall’utente nel proprio ambiente Falcon, e opera nell’ambito dei privilegi assegnati al suo ruolo. In altre parole, Charlotte AI non può accedere a dati, moduli o funzionalità a cui gli utenti non abbiano già accesso.

L’analista è l’autorità ed è responsabile: Sebbene si dica spesso che l’uomo sia l’anello debole della sicurezza, CrowdStrike ha sempre ritenuto che la conoscenza di base fornita dagli esperti e il contesto analitico siano uno dei maggiori punti di forza della sicurezza. In un SOC basato su IA nativa, l’analista rimarrà essenziale per la revisione, la decisione e l’autorizzazione delle operazioni di sicurezza, sulla base dei risultati dell’IA generativa. Qui sta la differenza tra le competenze di Charlotte AI e il ruolo dell’analista di sicurezza: Charlotte AI è esperto della piattaforma Falcon e consentirà all’analista di trovare informazioni critiche con velocità e competenza, comprimendo ore di lavoro in pochi minuti, sfruttando le funzionalità più recenti e l’intelligenza in tempo reale della piattaforma Falcon. Ma alla fine saranno gli analisti a dirigere i compiti dell’intelligenza artificiale di Charlotte e a decidere quali azioni strategiche dovranno essere intraprese nei loro ambienti. Ad esempio, se un analista ha rilevato incorrettezze su un gruppo di host, Charlotte AI può creare uno script consigliato da inserire in Falcon Real Time Response (RTR), ma spetterà all’utente rivedere lo script, salvarlo in Falcon RTR ed eseguirlo.

Prevenire la prompt injection e la prompt leakage: la prompt injection, il termine con cui l’intelligenza artificiale generativa viene alimentata con informazioni per agire scorrettamente, ha suscitato molta attenzione da parte dei ricercatori di sicurezza che interagiscono con strumenti come il chatbot AI di Bing, Sydney. I ricercatori hanno anche segnalato il rischio che gli attori delle minacce scoprano vulnerabilità all’interno degli ambienti user, spingendo i sistemi di IA generativa a rivelare informazioni legate a domande poste precedentemente/ricerche condotte precedentemente (note come prompt leakage), svelando le indagini degli analisti o le loro aree di interesse. Per sua stessa natura, l’intelligenza artificiale di Charlotte offre diverse soluzioni per contrastare questo tipo di attacchi. In quanto interfaccia dell’ambiente Falcon relativa ad un utente, Charlotte AI non può accedere a dati o funzionalità a cui gli utenti non abbiano già ottenuto accesso. Inoltre, qualsiasi modifica apportata da Charlotte AI all’ambiente di un utente deve essere prima rivista e approvata da un analista autorizzato, il che rappresenta un’ulteriore salvaguardia contro le “prompt injections” che tentano di innescare un’azione.

Accogliere l’Innovazione Responsabilmente

Mentre gli avversari raggiungono nuovi livelli per quanto riguarda gli attacchi con l’IA, le aziende devono essere attrezzate ad affrontarli sul campo di battaglia ad armi pari, se non superiori. L’IA generativa ha il potenziale per potenziare i team di sicurezza, massimizzando i loro risultati sia in termini di scala che di velocità. Sebbene i rischi dell’IA generativa non debbano ostacolarne l’adozione, la comprensione dei rischi dovrebbe influenzare i criteri decisionali che le aziende applicano nella scelta di un fornitore e un partner di sicurezza, valorizzando la tecnologia creata appositamente da esperti di sicurezza per i professionisti della sicurezza.

• Partecipa all’anteprima esclusiva di Charlotte AI: i clienti di CrowdStrike possono informarsi presso i loro referenti per saperne di più, e richiedere il programma di anteprima esclusiva di Charlotte AI
• Per saperne di più su Charlotte AI: visita la pagina di Charlotte AI
• Leggi la posizione di CrowdStrike sulla nuova politica degli Stati Uniti in materia di IA
• Esplora la piattaforma Falcon: scopri di più sulla tecnologia, i servizi e l’intelligence leader di settore di CrowdStrike

Inizia oggi: prova la piattaforma Falcon grazie alla prova gratuita di 15 giorni