I detector AI sbagliano più di quanto pensi: ecco perché non sono una prova

Affidarsi esclusivamente a un AI Detector può essere un grave errore. I software si basano su modelli statistici e possono classificare come artificiali testi scritti da persone. L'articolo analizza i limiti tecnici, i rischi giuridici, il GDPR, l'AI Act e le prove utili per contestare un falso positivo.

Se sempre di più in tutti i campi viene utilizzata a diverso titolo l’intelligenza artificiale generativa, allo stesso tempo e conseguentemente si diffonde l’uso dei software di rilevamento dei contenuti sintetici, comunemente noti come AI detector. Si tratta di programmi che, promettendo di individuare con precisione la paternità macchinina di uno scritto, vengono utilizzati in diversi ambiti quali le università, le aziende, case editrici, ecc.

Tra la promessa di risultato sicuro e la realtà corre , tuttavia, altro ovvero la possibilità che questi programmi possano sbagliare. Partiamo dalla semplice considerazione che si tratta di sistemi che non cercano impronte digitali o marcatori deterministici nel codice, ma si affidano a modelli di classificazione statistica basati su metriche quali la perplessità e la variabilità della struttura sintattica. La conseguenza è che i detector segnalano come artificiali i testi che presentano tali caratteristiche in quanto la scrittura sintetica tende a esibire un vocabolario altamente prevedibile e periodi di lunghezza omogenea-

Detto ciò si comprende come il limite strutturale di questo approccio risiede nel fatto che i documenti tecnici informatici, gli atti normativi, gli scritti accademici ed anche gli elaborati redatti da persone non madrelingua hanno, tal volta, la medesima linearità e prevedibilità. Questi strumenti probabilistici possono quindi essere tratti in inganno e rilevare come prodotto da un algoritmo un testo scritto invece da un umano. Il fenomeno dei falsi positivi si presenta, pertanto, non come una semplice anomalia marginale ma come un qualcosa che può comportare anche importanti conseguenze giuridiche. Basti pensare ad una decisione punitiva o sanzionatoria fondata esclusivamente su programmi che possono essere fallibili

Cosa rischia chi accusa ingiustamente un lavoratore o uno studente

L’utilizzo acritico di una percentuale generata da un AI detector per sanzionare o denigrare un soggetto espone l’accusatore a precise responsabilità anche penali. Se ad. esempio il responsabile di un azienda, un docente o un editore muove la contestazione pubblica a un dipendente piuttosto che ad uno studente di aver “imbrogliato” tramite l’IA, basandosi unicamente sul report del software, che poi si dimostrata fallace, può incorrere nel delitto di diffamazione. Sul punto si osserva come , sul piano dell’elemento soggettivo, la giurisprudenza ritiene sia sufficiente il dolo eventuale ovvero che possa essere attribuita la responsabilità penale a chi muove un’accusa conoscendo (o dovendo conoscere, vista la letteratura scientifica consolidata) la fallibilità intrinseca degli AI detector e la loro alta frequenza di falsi positivi. In altre parole essendo nota la possibilità di errore di questi programmi, chi base la sue scelte esclusivamente su di essi accetta consapevolmente il rischio che l’esito dell’analisi sia errato e che l’addebito risulti del tutto infondato, rispondendo a titolo di dolo delle lesioni arrecate all’onore e alla reputazione altrui.

Nell’ipotesi in cui l’azienda o l’istituto formativo si rivolga all ‘autorità giudiziaria, formalizzando una denuncia-querela, un esposto o una segnalazione ipotizzando reati quali la truffa o la violazione del diritto d’autore, basandosi esclusivamente del falso positivo, il soggetto segnalante rischia un’incriminazione per calunnia. In questo caso, infatti, si può ritenere la consapevolezza di incolpare un innocente nel momento in cui la fiducia riposta nel software si rivela palesemente arbitraria, ingiustificata e priva di riscontri fattuali. Si aggiunga che, con le introduzioni recenti di norme penali specificatamente riferite all’uso dell’ intelligenza artificiale, la posizione dell’accusatore basata esclusivamente su programma risultato fallace può finire con l’aggravarsi.

I danni alla reputazione e i limiti dei contratti di licenza dei software

Fondare e una contestazione su programmi che si scoprono essere giunti a conclusioni erronee comporta importanti conseguenze anche sul piano civilistico, toccando direttamente il danno reputazionale e la validità delle garanzie contrattuali. Nel caso in cui, basandosi su questi sistemi, si accusa erroneamente un soggetto di plagio ciò colpisce l’identità personale e il decoro della vittima, generando un danno non patrimoniale risarcibile che include tanto la sofferenza esistenziale quanto il danno patrimoniale da perdita di chance professionale o accademica. Nelle ipotesi di aziende, la responsabilità risarcitoria viene accertata sull’organizzazione che ha avallato la sanzione automatizzata tramite i propri preposti. Di converso, i produttori di questi software inseriscono frequentemente nei contratti di licenza ampi disclaimer e clausole di manleva, al fine di precisare come l’output fornito dai loro sistemi rappresenti una semplice stima probabilistica e non un dato non suscettibile di smentita da prendere senza ulteriori verifiche.

Tali precisazioni sono indispensabili poiché , anche sulla base di quanto statuto dall’art. 1229 c.c., commercializzare uno strumento vantando tassi di accuratezza totali, pur conoscendo l’alta incidenza di errori su intere categorie di utenti, integra gli estremi della colpa grave, rendendo inefficaci le clausole di esonero. Si aggiunga,infine, che il Regolamento europeo sulla protezione dei dati sanziona le decisioni basate unicamente su trattamenti automatizzati privi di una reale revisione umana. L’integrazione di questi rilevatori nei contesti di valutazione dell’istruzione e della gestione del lavoro inserisce a pieno titolo tali sistemi tra quelli ad alto rischio ai sensi del regolamento europeo sull’intelligenza artificiale.

Come smascherare l’errore algoritmico e impostare regole aziendali a prova di Tribunale

Nella mia triplice veste di docente universitario, di avvocato sul campo e di decisore, avverto in modo preoccupato i rischi di giudizi totalmente automatizzati. Se occorre valutare la tesi di uno studente, prendere decisioni sulla sorte lavorativa di un dipendente o difendere un assistito da un’ingiusta accusa di plagio,è evidente come l’affidamento acritico verso un software si rivela come un errore che può, come visto già in parte, comportare seri danni.

Un punto centrale è come scoprire che l’AI detector ha detto il falso.

Per provare un errore algoritmico è necessaria un’analisi multilivello che vada oltre la semplice percentuale fornita dal programma.. In primo luogo, l’indagine informatico-forense deve concentrarsi sulla cronologia delle revisioni (versioning) del file e sui metadata dei documenti. La presenza dei log di salvataggio progressivi, con gli orari di digitazione e le modifiche intermedie, può dimostrare empiricamente l’eventuale processo creativo umano. Inoltre, è fondamentale svolgere un’analisi comparativa con la produzione scientifica o professionale pregressa dell’autore, per evidenziare come la stesura risponda eventualmente semplicemente al suo stile naturale (ricco di tecnicismi o strutture sintattiche standardizzate) che l’algoritmo ha erroneamente scambiato per testo sintetico. Infine, per provare la fallibilità del sistema, può essere utilissimo sottoporre allo stesso software testi normativi, articoli storici o documenti prodotti prima dell’avvento dei modelli di intelligenza artificiale. Nel caso in cui il detector genererà “falsi positivi” sarà smascherata l’inaffidabilità della propria matrice statistica.

Per evitare i problemi derivanti da un acritico affidamento a questi programmi, occorre adottare un approccio rigoroso, tenendo ben presente che nessun punteggio algebrico può sostituirsi al vaglio critico del decisore umano. Si possono si usare questi programmi, ricordando sempre,tuttavia, che il responso da loro fornito non costituisce una prova, ma un mero indizio iniziale che impone l’obbligo di avviare un’istruttoria approfondita.

Vista, comunque, la necessità di impiegare l’intelligenza artificiale nei diversi ambiti ed allo stesso tempo di utilizzare programmi per individuare elaborati svolti interamente da essa, le organizzazioni devono dotarsi di policy interne chiare sull’uso consentito dell’intelligenza artificiale, distinguendo l’assistenza stilistica e correttiva dalla generazione integrale dei contenuti. Diviene quindi fondamentale che la distribuzione di questi sistemi di controllo, sia preceduta da valutazioni d’impatto sul GDPR e sui diritti fondamentali, garantendo alla persona segnalata un reale diritto al contraddittorio .

Paolo Galdieri

Avvocato penalista e cassazionista, noto anche come docente di Diritto Penale dell'Informatica, ha rivestito ruoli chiave nell'ambito accademico, tra cui il coordinamento didattico di un Master di II Livello presso La Sapienza di Roma e incarichi di insegnamento in varie università italiane. E' autore di oltre cento pubblicazioni sul diritto penale informatico e ha partecipato a importanti conferenze internazionali come rappresentante sul tema della cyber-criminalità. Inoltre, collabora con enti e trasmissioni televisive, apportando il suo esperto contributo sulla criminalità informatica.

Aree di competenza: Diritto Penale Informatico, Cybercrime Law, Digital Forensics Law, Cybercrime Analysis, Legal Teaching, Scientific Publishing

Visita il sito web dell'autore