Nel settore dell’intelligenza artificiale è stata lanciata una nuova, audace iniziativa volta a indebolire i modelli di apprendimento automatico distorcendo deliberatamente i dati utilizzati per addestrarli. Il progetto, denominato Poison Fountain, è stato ideato da persone direttamente coinvolte nello sviluppo dell’intelligenza artificiale e mira a evidenziare la vulnerabilità di questi sistemi e a richiamare l’attenzione sulle potenziali minacce.
Gli autori del progetto propongono che i proprietari di siti web inseriscano nei loro siti web link che conducano a pagine create appositamente contenenti informazioni errate o dannose, che vengono raccolte automaticamente dai robot di ricerca basati sull’intelligenza artificiale.
Questi dati finiscono poi nei set di addestramento , degradando l’accuratezza e la qualità dei modelli risultanti. Queste pagine sono destinate a contenere codice di programma errato, contenente errori logici difficili da rilevare che potrebbero danneggiare i modelli linguistici addestrati su tali contenuti.
 Avvio delle iscrizioni al corso Cyber Offensive Fundamentals Vuoi smettere di guardare tutorial e iniziare a capire davvero come funziona la sicurezza informatica? La base della sicurezza informatica, al di là di norme e tecnologie, ha sempre un unico obiettivo: fermare gli attacchi dei criminali informatici. Pertanto "Pensa come un attaccante, agisci come un difensore". Ti porteremo nel mondo dell'ethical hacking e del penetration test come nessuno ha mai fatto prima. Per informazioni potete accedere alla pagina del corso oppure contattarci tramite WhatsApp al numero 379 163 8765 oppure scrivendoci alla casella di posta [email protected].
Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì. |
L’idea si basa in larga parte sulla ricerca condotta da Anthropic lo scorso ottobre. All’epoca, i ricercatori avevano concluso che anche un numero minimo di documenti dannosi può avere un impatto significativo sul comportamento dei modelli linguistici. Questa scoperta, secondo i promotori di Poison Fountain, ha confermato quanto sia facile sovvertire i moderni sistemi di intelligenza artificiale.
Secondo The Register, cinque persone sono coinvolte nel progetto, alcune delle quali lavorano per importanti aziende americane di intelligenza artificiale. Uno degli organizzatori, che ha preferito rimanere anonimo, ha osservato che la minaccia non risiede in scenari ipotetici, ma piuttosto in tecnologie basate sull’intelligenza artificiale già implementate. Questa, ha affermato, è stata la motivazione per il lancio del progetto: dimostrare quanto facilmente la fiducia in tali sistemi possa essere minata.
Il sito web di Poison Fountain contiene due link: uno a un sito web tradizionale, l’altro accessibile solo tramite la rete anonima Tor. I visitatori sono incoraggiati a salvare e distribuire dati dannosi, nonché a facilitare l’inclusione di queste informazioni nei set di dati di addestramento dell’IA. Gli autori non credono nell’efficacia della regolamentazione, ritenendo che le tecnologie siano già troppo diffuse e che pertanto una risposta efficace debba essere proattiva e distruttiva.
Lo scetticismo nei confronti della regolamentazione è alimentato dal fatto che le più grandi aziende di intelligenza artificiale investono attivamente in attività di lobbying, cercando di ridurre al minimo l’interferenza governativa. Pertanto, i partecipanti a Poison Fountain ritengono che l’unico modo possibile per fermare lo sviluppo dell’intelligenza artificiale sia il sabotaggio.
Secondo i sostenitori di questa idea, una campagna di distorsione dei dati su larga scala potrebbe accelerare il collasso dell’intero settore, che si ritiene già stia attraversando alcune difficoltà. La comunità discute da tempo sui segnali del cosiddetto “collasso del modello”, un processo in cui l’IA inizia ad apprendere da dati sintetici o già elaborati dai propri algoritmi, perdendo la capacità di riprodurre accuratamente le informazioni. In un ambiente informativo rapidamente “inquinato”, tali modelli diventano sempre più inaffidabili.
Questi sforzi riecheggiano in parte altre iniziative volte a proteggere dall’uso non autorizzato di contenuti. Ad esempio, il progetto di lunga data Nightshade consente agli artisti di contrastare la raccolta automatica di immagini dai loro siti web introducendo sottili distorsioni che impediscono agli algoritmi di riconoscerle correttamente.
Quanto possa essere efficace l’avvelenamento deliberato dei dati di training rimane una questione aperta. Tuttavia, l’esistenza stessa di tali progetti riflette la crescente preoccupazione della comunità IT per l’ulteriore sviluppo dell’intelligenza artificiale e le conseguenze del suo utilizzo incontrollato.
Ti è piaciuto questo articolo? Ne stiamo discutendo nella nostra Community su LinkedIn, Facebook e Instagram. Seguici anche su Google News, per ricevere aggiornamenti quotidiani sulla sicurezza informatica o Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.
Cyber Italia
Cyber Italia
Cultura
Cybercrime
Cybercrime