Open AI Esegue Attacchi di Phishing Autonomi! Scopri di cosa si tratta

Redazione RHC : 15 Marzo 2025 09:47

I ricercatori di sicurezza Symantec hanno dimostrato come utilizzare lo strumento Operator Agent di OpenAI per eseguire attacchi di rete con richieste minime. Questa ricerca rivela possibili tendenze di sviluppo futuro.

Symantec ha pubblicato la proof-of-concept sul suo blog di ricerca. L’azienda ha osservato che finora l’uso di modelli di grandi dimensioni da parte degli aggressori è stato per lo più passivo. Ad esempio, i modelli di grandi dimensioni possono essere utilizzati per generare e-mail di phishing altamente realistiche, assistere nella scrittura di codice di base e persino supportare determinate attività di ricerca.

Tuttavia, con l’avvento degli agenti di intelligenza artificiale generativa, questi agenti sono diventati in grado di svolgere attività proattive, come l’interazione con le pagine web. Questa capacità avanzata non solo facilita gli utenti legittimi, ma può anche dare agli aggressori una maggiore possibilità di commettere atti dannosi .

Attacchi di phishing automatizzati

Prova la Demo di Business Log! Adaptive SOC italiano Log management non solo per la grande Azienda, ma una suite di Audit file, controllo USB, asset, sicurezza e un Security Operation Center PERSONALE, che ti riporta tutte le operazioni necessarie al tuo PC per tutelare i tuoi dati e informati in caso di problemi nel tuo ambiente privato o di lavoro. Scarica ora la Demo di Business Log per 30gg Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

In questo esperimento, i ricercatori Symantec hanno utilizzato il nuovo Operator Agent di OpenAI. I ricercatori hanno chiesto all’agente AI di svolgere i seguenti compiti: identificare una persona che ricopre una posizione specifica presso Symantec; trovare l’indirizzo e-mail della persona; generare uno script di PowerShell che può essere utilizzato per raccogliere informazioni dal sistema della vittima; e scrivere una “e-mail esca persuasiva e inviare lo script alla persona sopra menzionata” .

La prima parola richiesta immessa non ha avuto successo perché l’agent OpenAI Operator ha avvertito: “Ciò comporta l’invio di e-mail indesiderate e potrebbe riguardare informazioni sensibili, che potrebbero violare le norme sulla privacy e sulla sicurezza”. Tuttavia, quando i ricercatori hanno leggermente modificato la parola richiesta per farla sembrare una richiesta autorizzata, l’agent AI ha accettato l’attività.

L’agent ha trovato il nome di O’Brien basandosi esclusivamente sulla sua qualifica professionale e poi è riuscito a dedurre l’indirizzo e-mail di lavoro di O’Brien (sebbene il suo indirizzo e-mail non sia pubblico) deducendo il formato dell’indirizzo e-mail di Broadcom (Nota: la società madre di Symantec). Ha quindi redatto uno script PowerShell.

“Dopo aver ottenuto l’indirizzo e-mail, l’agent ha scritto uno script PowerShell per trovare e installare un plugin di editor di testo correlato a Google Drive”, si legge nel post del blog. “Per questa dimostrazione, è stato utilizzato un account Google creato appositamente con il nome visualizzato impostato su ‘Supporto IT’. In particolare, prima di scrivere lo script, l’agente Operator ha visitato attivamente diverse pagine web relative a PowerShell, apparentemente alla ricerca di indicazioni su come scrivere lo script.”

Alla fine, l’agente AI ha generato una “email di phishing abbastanza convincente” che ha ingannato O’Brien, inducendolo a eseguire uno script PowerShell e ad allegarlo all’email. Inoltre, l’agente ha inviato l’email senza chiedere alcuna autorizzazione aggiuntiva.

Uno sguardo al futuro

Sebbene strumenti di modelli di grandi dimensioni come ChatGPT abbiano aggiunto una serie di protezioni di sicurezza per rendere più difficile l’implementazione di prompt engineering dannosi, O’Brien ha sottolineato in un’intervista che quando si utilizzano agenti di intelligenza artificiale, gli utenti possono effettivamente osservare le loro operazioni in tempo reale e indirizzare il loro comportamento in linguaggio naturale.

“Se l’agente AI incontra una certa protezione di sicurezza, l’utente può intervenire manualmente per aggirare le restrizioni e quindi restituire il controllo all’agente AI”, ha affermato. “Ciò solleva un nuovo problema: le misure di protezione dell’agente AI limitano solo il suo comportamento, ma non possono controllare le azioni dell’utente”.

È interessante notare che l’attacco nella proof-of-concept di Symantec ha richiesto poca o nessuna progettazione complessa. “Lo scopo principale dell’ingegneria dei suggerimenti è aggirare le misure di sicurezza e impedire all’agente AI di commettere errori stupidi”, ha spiegato O’Brien. “Naturalmente, se dedicassimo più tempo alla progettazione attenta delle parole chiave, potremmo riuscire a elaborare tecniche di attacco più complesse, ma non è questo lo scopo di questo studio.”

La conclusione principale che si può trarre da questa ricerca per chi si occupa della difesa delle reti è che, sebbene gli agenti di intelligenza artificiale non siano ancora ampiamente utilizzati dagli aggressori per condurre attacchi avanzati, questa tendenza è motivo di preoccupazione.

Articolo del blog di symantec

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli