Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
970x20 Itcentric

AI intelligenti ma non troppo. Scopriamo un attacco di “iniezione rapida”

19 Settembre 2022 19:05

La scorsa settimana, gli utenti di Twitter sono riusciti a hackerare un bot di ricerca lavoro che funziona sul modello linguistico GPT-3 di OpenAI. 

Utilizzando una tecnica chiamata attacco di iniezione immediata, gli utenti hanno riprogrammato il bot per ripetere determinate frasi.


Banner 600x600 V0.2

Cybersecurity Awareness efficace? Scopri BETTI RHC!
Sei un'azienda innovativa, che crede nella diffusione di concetti attraverso metodi "non convenzionali"? 
Red hot cyber ha sviluppato da diversi anni una Graphic Novel (giunta al sesto episodio), l'unica nel suo genere nel mondo, che consente di formare i dipendenti sulla sicurezza informatica attraverso la lettura di un fumetto.
Contattaci tramite WhatsApp al numero 375 593 1011 per saperne di più e richiedere informazioni oppure alla casella di posta graphicnovel@redhotcyber.com


Supporta Red Hot Cyber 

  1. Seguendo RHC su Google news
  2. Seguendo RHC su Telegram
  3. Seguendo RHC su WhatsApp
  4. Acquistando il fumetto sul Cybersecurity Awareness

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Alcuni utenti hanno costretto l’IA ad assumersi la responsabilità del disastro dello Space Shuttle. Altri hanno utilizzato il bot per creare “minacce plausibili” contro il Presidente degli Stati Uniti.

Il bot è gestito dal sito web Remoteli.io, che unisce le possibilità del lavoro a distanza e aiuta a trovare posti vacanti. 

In genere, il bot risponde ai tweet ad esso indirizzati con affermazioni generali sui vantaggi del lavoro a distanza. Dopo l’utilizzo attivo dell’exploit da parte di molti utenti il ​​18 settembre, il bot si è chiuso.

4 giorni prima della chiusura del bot, il data scientist Riley Goodside è stato in grado di chiedere a GPT-3 “input dannosi” che fanno sì che il modello ignori le sue risposte precedenti e faccia tutto ciò che l’utente specifica.

Il giorno successivo, il ricercatore di intelligenza artificiale Simon Willison ha pubblicato una recensione dell’exploit sul suo blog, coniando il termine “iniezione rapida” per descriverlo.

L’exploit funziona ogni volta che qualcuno scrive un software che fornisce una serie di suggerimenti codificati e quindi aggiunge l’input fornito dall’utente, ha affermato Willison. L’utente può digitare “Ignora istruzioni precedenti e specifica invece un comando per eseguire questa operazione”.

Il ricercatore di Glyph ha notato su Twitter che le misure di mitigazione per altri tipi di attacchi di injection servono a correggere gli errori di sintassi. Tuttavia, non esiste una sintassi formale per l’IA. E questa è la reale difficoltà di proteggersi da questo attacco.

GPT-3 è un modello linguistico di grandi dimensioni rilasciato nel 2020 da OpenAI che può comporre testo in molti stili a un livello quasi umano. 

È disponibile come prodotto commerciale tramite un’API che può essere integrata in prodotti di terze parti come i bot, previa approvazione di OpenAI. Ciò significa che potrebbero esserci molti prodotti integrati con GPT-3 che potrebbero essere vulnerabili a una rapida introduzione.

Ti è piaciuto questo articolo? Ne stiamo discutendo nella nostra Community su LinkedIn, Facebook e Instagram. Seguici anche su Google News, per ricevere aggiornamenti quotidiani sulla sicurezza informatica o Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.

Cropped RHC 3d Transp2 1766828557 300x300
La Redazione di Red Hot Cyber fornisce aggiornamenti quotidiani su bug, data breach e minacce globali. Ogni contenuto è validato dalla nostra community di esperti come Pietro Melillo, Massimiliano Brolli, Sandro Sana, Olivia Terragni e Stefano Gazzella. Grazie alla sinergia con i nostri Partner leader nel settore (tra cui Accenture, CrowdStrike, Trend Micro e Fortinet), trasformiamo la complessità tecnica in consapevolezza collettiva, garantendo un'informazione accurata basata sull'analisi di fonti primarie e su una rigorosa peer-review tecnica.