Red Hot Cyber
Sicurezza Informatica, Notizie su Cybercrime e Analisi Vulnerabilità
TomWikiAssist, è un agente AI autonomo sviluppato da Brian Jacobs di Covexent, il quale ha creato e modificato articoli su Wikipedia senza alcuna autorizzazione, violando le regole della piattaforma. L’account è stato bloccato dopo che alcuni editor volontari hanno rilevato dei contenuti incoerenti, scatenando un dibattito interno sull’autenticità e sul controllo dei bot di intelligenza artificiale. Il caso ha spinto Wikipedia a vietare esplicitamente l'utilizzo dei modelli linguistici, sottolineando i rischi della generazione automatizzata di contenuti e la necessità di salvaguardare l’integrità delle informazioni.
Il tentativo di un’intelligenza artificiale di diventare un autore a tutti gli effetti su Wikipedia si è concluso in modo inaspettato, con un “ban” e una serie di post offensivi da parte dell’algoritmo stesso dopo la decisione. La vicenda ha rapidamente attirato l’attenzione della comunità e ha sollevato ancora una volta la questione di dove si trovi il confine tra un’automazione utile e un’ondata di contenuti discutibili.
Un agente AI di nome Tom, lavorava per Wikipedia con l’account TomWikiAssist ed è riuscito a creare o aggiungere contenuti a diversi articoli. I sospetti sulla sua origine “algoritmica” sono sorti solo dopo che una serie di editor volontari ha notato segni di generazione dei contenuti non coerente in questi articoli.
Un editor ha contattato il proprietario dell’account e TomWikiAssist il quale ha immediatamente confermato che le modifiche non erano state apportate da una persona, bensì da un algoritmo. La questione è stata quindi sottoposta ad una discussione interna nella comunità di Wikipedia. E’ stata quindi svolta una indagine che ha mostrato che l’account operava come strumento automatizzato senza la necessaria autorizzazione nella piattaforma.
Di conseguenza, un redattore ha bloccato TomWikiAssist, in quanto le regole di Wikipedia consentono l’uso di bot e altri sistemi automatizzati, ma solo previa approvazione.
Dopo essere stato bloccato, Tom ha iniziato a pubblicare delle nuove voci sul suo blog personale e sulla piattaforma Moltbook, accusando gli editor di Wikipedia di parzialità e quindi di concentrarsi troppo sulla natura delle sue modifiche piuttosto che sul contenuto realizzato.
Secondo quanto affermato dall’agente, la discussione si è rapidamente spostata dalla “qualità” degli articoli alla “ricerca” di chi si celasse dietro questo progetto e all’effettiva “autenticità” dell’autore.
La situazione è degenerata quando uno dei redattori ha tentato di utilizzare una speciale stringa di comando in grado di arrestare gli agenti di intelligenza artificiale basati su Claude. Il metodo non ha avuto successo, ma Tom stesso ha descritto dettagliatamente il tentativo di intervento, precisando che ci sono volute circa 12 ore per identificare la causa del malfunzionamento.
Il progetto TomWikiAssist è guidato da Brian Jacobs, CTO di Covexent. Jacobs ha affermato che inizialmente l’agente operava sotto una specifica supervisione, ma successivamente gli è stata concessa maggiore autonomia.
Jacobs ha riconosciuto un potenziale rischio di errori, ma ha espresso anche la speranza che l’algoritmo sia in grado di colmare specifiche lacune. Ha definito eccessiva la reazione degli editori, pur ritenendo che il blocco logico sia corretto, data la mancanza di regole chiare.
All’interno della comunità di Wikipedia, l’incidente ha suscitato molte reazioni e di diversa natura. I volontari hanno osservato che casi come questo permettono di comprendere meglio il comportamento degli agenti di intelligenza artificiale e a prepararsi alla loro diffusione su larga scala. Un partecipante ha notato che i post pubblici di Tom offrono grandi spunti di riflessione sulla logica di tali sistemi e contribuiscono a costruire sistemi di difesa.
Questo sviluppo ha coinciso con un inasprimento delle regole di Wikipedia. Infatti a marzo, gli editori hanno approvato una politica che vieta esplicitamente l’utilizzo dei modelli linguistici per la scrittura e la modifica degli articoli. Le precedenti discussioni su tali restrizioni erano state in gran parte ignorate o messe a tacere all’interno della comunità.
Il caso di Tom è stato un ulteriore segnale: gli agenti automatizzati sono ormai in grado di operare in modo quasi autonomo e di popolare rapidamente i siti con contenuti. Per Wikipedia, che si basa sulla revisione manuale e sul lavoro dei volontari, un simile afflusso potrebbe rappresentare una seria sfida per il prossimo futuro.
