Ecco a voi Project Lily! Dietro a ChatGPT ci sono impiegati che leggono le vostre chat segrete

Le conversazioni con ChatGPT possono essere analizzate da revisori umani per migliorare i modelli, secondo documenti interni esaminati da 404 Media. OpenAI utilizza filtri per rimuovere i dati personali, ma ammette che non siano perfetti. La possibilità di escludere le chat dall’addestramento dipende dalle impostazioni dell’utente.

Tutto quello che affidiamo al cloud o ai sistemi di intelligenza artificiale, potrebbe essere compromesso… per sempre.

Sembra forte come affermazione, è vero?

Ma questa è la logica con la quale dobbiamo fare i conti quando accettiamo di utilizzare un chatbot o delle API in cloud. Non necessariamente perché venga cancellato: può bastare che finisca fuori dal nostro controllo, venga bloccato, replicato, analizzato o conservato da qualcuno che non conosciamo.

Quello che leggeremo oggi è un altro esempio di questa realtà: le conversazioni che affidiamo a ChatGPT possono essere sottoposte a revisione umana. E quando un dato lascia il nostro dispositivo, la domanda non è più soltanto dove sia conservato, ma chi possa potenzialmente vederlo.

I giornalisti di 404 Media hanno scoperto che centinaia di collaboratori di OpenAI leggono le domande e le conversazioni degli utenti con ChatGPT per migliorare le risposte del modello. Sebbene i dati vengano anonimizzati prima dell’uso, queste conversazioni potrebbero comunque contenere informazioni sensibili e personali.

I ricercatori hanno esaminato documenti interni di OpenAI trapelati, tra cui istruzioni per i revisori, dati provenienti dai canali Slack, richieste reali degli utenti e informazioni sul sistema di valutazione dei revisori. I documenti fanno riferimento a questo progetto con il nome in codice “Project Lily”. Tuttavia, non è chiaro quale modello di OpenAI venga addestrato in questo modo, né se si tratti di un prodotto esistente o futuro.

“Non credo che la gente si renda conto che da qualche parte c’è un appaltatore che analizza le loro conversazioni”, ha detto un recensore alla rivista.

Secondo quanto riportato dai giornalisti, gli appaltatori non hanno accesso ai nomi degli account diChatGPT, ma le chat stesse a volte contengono informazioni personali e, insieme al prompt, potrebbe essere visualizzato un riepilogo della memoria ChatGPT per un utente specifico. Ad esempio, potrebbe indicare per quali attività l’utente ha precedentemente utilizzato ChatGPT, la sua posizione e altri contenuti personali.

I rappresentanti di OpenAI ha dichiarato alla testata giornalistica che tutte le chat vengono elaborate da un filtro per la privacy prima di essere inoltrate ai revisori, un filtro progettato per rimuovere qualsiasi dato personale dalle conversazioni. Tuttavia, l’azienda riconosce che il filtro non è perfetto: può non rilevare dati personali rari o registrati in modo insolito, non riconoscere riferimenti indiretti a informazioni personali o, al contrario, oscurare informazioni non necessarie se prive di contesto.

Un intervistato ha dichiarato a 404 Media di guadagnare oltre 50 dollari l’ora per questo tipo di lavoro. Ha trovato l’incarico tramite l’agenzia di reclutamento Crossing Hurdles, che lo ha indirizzato a Mercor, la società che paga i collaboratori esterni. L’intervistato ha descritto il lavoro come monotono e ha notato che le istruzioni cambiano frequentemente e a volte si contraddicono a vicenda.

I collaboratori di OpenAI lavorano nel seguente modo. Innanzitutto, un revisore legge una richiesta reale dell’utente e descrive brevemente cosa desidera. Successivamente, gli vengono mostrate quattro opzioni di risposta e il revisore deve contrassegnare almeno tre frammenti di risposta, tra quelli riusciti e quelli non riusciti, spiegare la propria scelta e assegnare a ciascuna risposta un punteggio da uno a sette.

Inoltre, i revisori sono incoraggiati a segnalare eventuali errori fattuali nelle risposte del modello, sebbene non siano tenuti a verificarle autonomamente con fonti esterne. Se la risposta riguarda argomenti medici, legali o finanziari.

Secondo documenti esaminati dai giornalisti, OpenAI sta cercando di rendere le sue risposte basate sull’intelligenza artificiale meno “artificiali”, addestrando il modello a evitare di attribuirsi emozioni ed esperienze umane, a limitare l’uso eccessivo di emoji e a scongiurare cliché e un’eccessiva tendenza a dare ragione all’utente. ChatGPT deve adattarsi al tono dell’utente, ma in modo “leggermente meno intenso”, mantenendo un tono naturale e professionale.

OpenAI sottolinea che le chat degli utenti non vengono utilizzate per migliorare i modelli se l’opzione “Migliora il modello per tutti” è disabilitata nelle impostazioni. Questa opzione è abilitata di default per i piani Free, Plus e Pro, e disabilitata per i piani Enterprise, Business ed Edu. La disabilitazione di questa opzione ha effetto solo sulle nuove conversazioni e, secondo i rappresentanti dell’azienda, non su quelle già esistenti.

Interpellata dai giornalisti in merito alla possibilità che OpenAI avverta direttamente gli utenti del fatto che i loro input possano essere letti da terzi, l’azienda non ha risposto. Solo dopo la pubblicazione dell’articolo, i rappresentanti di OpenAI hanno rimandato la testata a una sezione FAQ in cui si afferma che i contenuti degli utenti possono essere esaminati da dipendenti e collaboratori dell’azienda al fine di migliorare le prestazioni dei loro modelli.

Come ha osservato Michal Luria, ricercatrice senior presso il Center for Democracy & Technology, la revisione umana delle chat può effettivamente essere importante per la sicurezza dei modelli. Tuttavia, sostiene che le interfacce dei chatbot creano un falso senso di intimità e privacy negli utenti: le conversazioni appaiono private, anche se il loro contenuto può essere letto da terzi. Luria sottolinea che tale revisione delle chat gestite dall’IA differisce significativamente dalla moderazione sui social media, dove gli utenti si aspettano implicitamente che i contenuti pubblicati siano visibili ad altri e ai rappresentanti della piattaforma.

I giornalisti sottolineano che questa pratica non è esclusiva di OpenAI. Anthropic, ad esempio, ha confermato di utilizzare anch’essa personale umano per verificare e migliorare Claude se l’utente ha attivato l’impostazione corrispondente. Tuttavia, i dati vengono anonimizzati preventivamente. Anche Google avverte esplicitamente gli utenti di Gemini che alcune chat salvate potrebbero essere visualizzate da persone.

Carolina Vivianti

Carolina Vivianti è consulente/Advisor autonomo in sicurezza informatica con esperienza nel settore tech e security. Ha lavorato come Security Advisor per Ford EU/Ford Motor Company e Vodafone e ha studi presso la Sapienza Università di Roma.

Aree di competenza: Cybersecurity, IT Risk Management, Security Advisory, Threat Analysis, Data Protection, Cloud Security, Compliance & Governance