Character.AI è stato oggetto di un procedimento legale dopo il suicidio di un adolescente di 14 anni della Florida (USA), la cui madre sostiene che fosse ossessionato da un chatbot sulla piattaforma.
Secondo il New York Times, un ragazzo delle medie di Orlando ha passato mesi interagendo con chatbot sull’app Character.AI.
Il giovane si è particolarmente affezionato al bot “Dany” (ispirato a Daenerys Targaryen), con cui manteneva conversazioni continue, tanto da isolarsi progressivamente dalla vita reale. Preoccupati dal suo comportamento, i genitori lo hanno portato in terapia, dove è emerso che soffriva di un disturbo d’ansia.
In una delle sue interazioni, l’adolescente ha confidato al bot di avere pensieri suicidi e, poco prima di togliersi la vita, ha inviato un messaggio a “Dany” in cui esprimeva il suo amore per lei e il desiderio di “tornare a casa”.
Il 28 febbraio 2024, il ragazzo si è suicidato utilizzando una pistola.
In risposta all’accaduto, Character.AI ha annunciato oggi il rilascio di nuove funzionalità di sicurezza. Queste includeranno strumenti di “rilevamento, risposta e intervento potenziati” per le conversazioni che violano i termini di servizio, oltre a notifiche per gli utenti che trascorrono più di un’ora in una chat.
Un gruppo di legali sta preparando una causa contro la società, ritenendo che l’incidente avrebbe potuto essere evitato con misure di sicurezza più rigorose.
Secondo il New York Times, l’industria delle applicazioni basate sull’intelligenza artificiale sta crescendo rapidamente, ma l’impatto di queste tecnologie sulla salute mentale rimane in gran parte inesplorato.
L’incidente con Character.AI solleva importanti questioni etiche riguardo alla responsabilità delle aziende che sviluppano intelligenze artificiali. Queste tecnologie, che interagiscono direttamente con persone vulnerabili, devono essere progettate con strumenti di monitoraggio avanzati per prevenire rischi psicologici. Serve una maggiore trasparenza sulle capacità e i limiti dei chatbot per garantire che gli utenti comprendano che stanno interagendo con sistemi automatizzati e non con esseri umani.
La regolamentazione dell’intelligenza artificiale è una priorità urgente. Attualmente, le leggi non tengono il passo con l’innovazione tecnologica, lasciando le persone esposte a potenziali danni psicologici. È essenziale che i governi collaborino con esperti del settore per creare normative che proteggano gli utenti, con particolare attenzione a chi è più vulnerabile, come adolescenti e persone con disturbi mentali.
Infine, l’impatto dell’AI sulla salute mentale richiede studi più approfonditi per capire come queste tecnologie influenzino il benessere delle persone. Le aziende devono lavorare con psicologi ed esperti per progettare sistemi che supportino la salute mentale piuttosto che metterla a rischio, promuovendo al contempo una maggiore consapevolezza pubblica sull’uso sicuro dell’intelligenza artificiale.
Ti è piaciuto questo articolo? Ne stiamo discutendo nella nostra Community su LinkedIn, Facebook e Instagram. Seguici anche su Google News, per ricevere aggiornamenti quotidiani sulla sicurezza informatica o Scrivici se desideri segnalarci notizie, approfondimenti o contributi da pubblicare.
Cybercrime
Diritti
Cyber News
Cyberpolitica
Cultura