Un’indagine scopre modelli di generazione di immagini AI addestrati sugli abusi sui minori

Redazione RHC : 21 Dicembre 2023 11:43

Un nuovo studio dello Stanford Internet Observatory (SIO) ha identificato la presenza di materiale di abuso sessuale infantile ( CSAM ). Tale ricerca si è concentrata sull’ampio set di dati pubblico LAION-5B, utilizzato per addestrare le reti neurali generative più diffuse, tra cui Stable Diffusion. 

L’analisi di oltre 32 milioni di dati ha mostrato che lo strumento PhotoDNA di Microsoft ha confermato la presenza di 1.008 immagini CSAM. I ricercatori hanno sottolineato che questo numero di materiali potrebbe essere molto più elevato.

È importante notare che LAION-5B non contiene le immagini stesse, ma è una raccolta di metadati che include:

• hash dell’immagine;
• descrizione;
• dati linguistici;
• informazioni sulla possibilità che l’immagine non sia sicura;
• URL dell’immagine.

Sponsorizza la prossima Red Hot Cyber Conference! Il giorno Lunedì 18 maggio e martedì 19 maggio 2026 9 maggio 2026, presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la V edizione della la RHC Conference.  Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico.  Se sei interessato a sponsorizzare l'evento e a rendere la tua azienda protagonista del più grande evento della Cybersecurity Italiana, non perdere questa opportunità. E ricorda che assieme alla sponsorizzazione della conferenza, incluso nel prezzo, avrai un pacchetto di Branding sul sito di Red Hot Cyber composto da Banner più un numero di articoli che saranno ospitati all'interno del nostro portale.  Quindi cosa stai aspettando? Scrivici subito a [email protected] per maggiori informazioni e per accedere al programma sponsor e al media Kit di Red Hot Cyber. Supporta Red Hot Cyber attraverso:  L'acquisto del fumetto sul Cybersecurity Awareness Ascoltando i nostri Podcast Seguendo RHC su WhatsApp Seguendo RHC su Telegram Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Alcuni dei collegamenti alle foto CSAM in LAION-5B riguardavano siti come Reddit, X, Blogspot, WordPress, nonché siti per adulti XHamster e XVideos.

Per identificare le immagini sospette nel set di dati, il team SIO si è concentrato su quelle contrassegnate come “non sicure”. Queste immagini sono state testate utilizzando PhotoDNA per verificare la presenza di materiale CSAM. I risultati sono stati quindi inviati al Centro canadese per la protezione dell’infanzia (C3P) per conferma. 

Il processo di rimozione del materiale originale identificato è attualmente in corso dopo che gli URL delle immagini sono stati inviati al C3P e al Centro nazionale per i bambini scomparsi e sfruttati (NCMEC) negli Stati Uniti.

Sebbene non esista un collegamento diretto con l’uso dell’intelligenza artificiale per creare immagini pornografiche dei minori, tali tecnologie hanno facilitato la commissione di crimini legati al ricatto deepfake e ad altri tipi di crimini.

Stable Diffusion 1.5 continua ad essere popolare per la creazione di foto esplicite. Questo nonostante la diffusa insoddisfazione della comunità per il rilascio di Stable Diffusion 2.0 con filtri di sicurezza aggiuntivi. Non è chiaro se Stability AI, la società che ha sviluppato Stable Diffusion, fosse a conoscenza della potenziale presenza di CSAM nei suoi modelli.

LAION, un’organizzazione no-profit tedesca che crea set di dati per la formazione sull’intelligenza artificiale generativa, è stata precedentemente criticata per aver incluso contenuti controversi. Google ha utilizzato il predecessore del LAION-5B, il LAION-400M, per addestrare la sua Imagen AI. Tuttavia, l’azienda ha deciso di non rilasciare lo strumento perché un audit del LAION-400M ha rivelato un’ampia gamma di contenuti inappropriati, tra cui immagini pornografiche, insulti razzisti e stereotipi sociali. Sempre nel settembre 2022, nel set di dati LAION-5B sono state trovate fotografie mediche private pubblicate senza autorizzazione .

In risposta alle accuse, la LAION ha annunciato di aver avviato “procedure di manutenzione ordinaria” per rimuovere i collegamenti a contenuti sospetti e potenzialmente illegali. LAION ha affermato che la società ha una politica di tolleranza zero per i contenuti illegali, aggiungendo che i set di dati pubblici sono stati temporaneamente rimossi dalla pubblicazione e verranno restituiti dopo l’aggiornamento del filtraggio. La restituzione dei set di dati all’uso pubblico è prevista per la seconda metà di gennaio.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli