Allenando le AI con i dati creati da altre AI “riempiremo Internet di sciocchezze”

Redazione RHC : 23 Giugno 2023 16:44

I ricercatori nel Regno Unito e in Canada mettono in guardia sui pericoli dell’addestramento di modelli di intelligenza artificiale (IA) con dati generati da altri modelli di intelligenza artificiale. In un articolo pubblicato su arXiv.org intitolato “The Curse of Recursion: Learning from Generated Data Causes Models to Forget”, hanno dimostrato che questo approccio può portare a un graduale deterioramento della qualità e del realismo di questi dati.

Il collasso del modello è un processo degenerativo in base al quale i modelli nel tempo dimenticano la vera distribuzione dei dati e iniziano a interpretare erroneamente ciò che pensano sia reale, rafforzando le proprie convinzioni. 

Questo fenomeno ricorda l’oblio catastrofico e l’avvelenamento dei dati, che possono anche avere un impatto negativo sull’apprendimento dell’IA. Nell’oblio catastrofico, il modello “dimentica” i dati precedenti quando apprende nuove informazioni. L’avvelenamento dei dati è l’introduzione dannosa di informazioni false nelle origini dati.

CVE Enrichment Mentre la finestra tra divulgazione pubblica di una vulnerabilità e sfruttamento si riduce sempre di più, Red Hot Cyber ha lanciato un servizio pensato per supportare professionisti IT, analisti della sicurezza, aziende e pentester: un sistema di monitoraggio gratuito che mostra le vulnerabilità critiche pubblicate negli ultimi 3 giorni dal database NVD degli Stati Uniti e l'accesso ai loro exploit su GitHub. Cosa trovi nel servizio: ✅ Visualizzazione immediata delle CVE con filtri per gravità e vendor. ✅ Pagine dedicate per ogni CVE con arricchimento dati (NIST, EPSS, percentile di rischio, stato di sfruttamento CISA KEV). ✅ Link ad articoli di approfondimento ed exploit correlati su GitHub, per ottenere un quadro completo della minaccia. ✅ Funzione di ricerca: inserisci un codice CVE e accedi subito a insight completi e contestualizzati. Ricerca per singola CVE Ricerca le ultime CVE emesse Articolo sul CVE enrichment Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Gli autori dell’articolo hanno condotto esperimenti con modelli di IA testuali e grafici e hanno scoperto che l’addestramento sui dati prodotti da altri modelli porta a un rapido deterioramento della qualità dei dati generati. “Siamo rimasti sorpresi nel vedere quanto velocemente il modello collassa: i modelli possono dimenticare rapidamente gran parte dei dati di input da cui hanno originariamente appreso”, ha affermato Ilya Shumailov, uno degli autori dell’articolo, dell’Università di Oxford.

Come ha affermato il collega e autore Ross Anderson dell’Università di Cambridge e dell’Università di Edimburgo, “Proprio come abbiamo disseminato gli oceani di detriti di plastica e riempito l’atmosfera di anidride carbonica, così riempiremo Internet di sciocchezze”.

I ricercatori offrono diversi modi per affrontare il collasso del modello. Uno di questi è conservare i dati originali creati dall’uomo per addestrare modelli futuri. L’altro approccio è tenere conto delle minoranze e degli eventi rari nei set di dati. Il terzo è controllare la qualità e le fonti dei dati utilizzati per l’addestramento dell’IA.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli