AI e i pregiudizi razziali: Nuovi Metodi per Ridurre gli Errori e i Bias

L'intelligenza artificiale in medicina può commettere errori a causa dei pregiudizi presenti nei modelli. I ricercatori hanno proposto un nuovo metodo per ridurre questi pregiudizi, migliorando l'accuratezza delle diagnosi e la qualità dell'assistenza sanitaria

L’intelligenza artificiale in medicina può commettere errori non solo a causa di dati di scarsa qualità. A volte i pregiudizi risiedono più in profondità, nel modello stesso: nel modo in cui il sistema associa caratteristiche, immagini, parole e categorie.

Per un medico, un errore di questo tipo non sembra un astratto problema di apprendimento automatico. Se un modello di analisi delle lesioni cutanee è meno efficace nel riconoscere il rischio in determinate tonalità di pelle, un paziente con una lesione pericolosa potrebbe non ricevere gli esami necessari in modo tempestivo.

Il bias nell’IA viene spesso attribuito ai set di dati di addestramento. Se i dati contengono poche immagini di persone con la pelle scura, pazienti anziani o casi clinici rari, il modello ottiene prestazioni peggiori su questi esempi. Ma la fonte del problema non è sempre e solo il set di dati. Anche l’architettura del modello può preservare i bias e amplificarli attraverso le rappresentazioni interne: 1

In medicina, tali pregiudizi si spostano rapidamente dall’ambito tecnico a quello clinico. Un modello visivo-linguistico può aiutare un medico a classificare le immagini, cercare casi simili, descrivere un’immagine o valutare il rischio. Se il sistema commette costantemente errori per alcuni pazienti, la qualità dell’assistenza diventa disomogenea e le scarse prestazioni dell’algoritmo si trasformano in un problema di sicurezza.

Ora, i ricercatori del MIT, del Worcester Polytechnic Institute e di Google hanno proposto un nuovo metodo per ridurre i pregiudizi nei modelli di linguaggio visivo.

I modelli linguistici visivi lavorano contemporaneamente con diversi tipi di dati. Questi sistemi collegano immagini e testo, consentendo di cercare immagini in base alla descrizione, classificare oggetti, associare caratteristiche visive a parole e risolvere problemi all’intersezione tra visione artificiale ed elaborazione del linguaggio naturale. Questo gruppo include OpenCLIP, un’implementazione open-source dell’approccio CLIP, in cui immagini e didascalie condividono uno spazio di relazioni semantiche comune.

La difficoltà principale sta nel fatto che rimuovere un pregiudizio da un sistema di questo tipo non sempre rende il modello più equo. L’approccio più comune è chiamato debiasing di proiezione. Funziona dopo l’addestramento e rimuove dallo spazio interno del modello la direzione associata alla differenza indesiderata tra i gruppi.

Per comprendere il problema, dobbiamo prima capire cosa sono gli embedding. Un embedding è una rappresentazione numerica di un oggetto all’interno di un modello. Una foto, una parola o una frase vengono trasformate in un insieme di coordinate in uno spazio multidimensionale. Gli oggetti che hanno un significato simile vengono posizionati vicini, mentre quelli che sono distanti vengono posizionati più distanti. Se un modello associa la professione medica a un genere o un’immagine clinica a uno specifico gruppo etnico, il metodo di proiezione tenta di rimuovere la direzione corrispondente da questo spazio.

Ma questo raramente accade senza conseguenze. Lo spazio rappresentazionale è strutturato come una rete di relazioni: la modifica di un asse sposta le relazioni adiacenti. Walter Gerich, autore principale dello studio, spiega che quando viene rimossa una direzione indesiderata, il modello comprime involontariamente tutto ciò che lo circonda, alterando così altre relazioni che il sistema ha appreso.

Questo crea un problema che i ricercatori chiamano il dilemma del “Whac-A-Mole“. Il nome si riferisce a una slot machine in cui il giocatore colpisce le talpe che spuntano fuori, solo per vederne apparire di nuove in slot diversi. Nell’intelligenza artificiale, una situazione simile si presenta quando si combatte il pregiudizio: gli sviluppatori eliminano un pregiudizio, ma il modello ne amplifica o ne crea un altro.

In ambito clinico, questo effetto collaterale può risultare particolarmente problematico. Ad esempio, gli sviluppatori stanno cercando di eliminare i pregiudizi razziali da un modello che seleziona le immagini del personale medico. Dopo la correzione, il sistema si basa meno sui pregiudizi razziali, ma inizia a riprodurre con maggiore intensità i pregiudizi di genere. La professoressa Marzieh Ghassemi del MIT descrive questo fenomeno come una sfida sia tecnica che pratica: correggere un pregiudizio non dovrebbe compromettere le prestazioni del modello in un ambito correlato.

Redazione

La Redazione di Red Hot Cyber fornisce aggiornamenti quotidiani su bug, data breach e minacce globali. Ogni contenuto è validato dalla nostra community di esperti come Pietro Melillo, Massimiliano Brolli, Sandro Sana, Olivia Terragni e Stefano Gazzella. Grazie alla sinergia con i nostri Partner leader nel settore (tra cui Accenture, CrowdStrike, Trend Micro e Fortinet), trasformiamo la complessità tecnica in consapevolezza collettiva, garantendo un'informazione accurata basata sull'analisi di fonti primarie e su una rigorosa peer-review tecnica.