Red Hot Cyber
Condividi la tua difesa. Incoraggia l'eccellenza. La vera forza della cybersecurity risiede nell'effetto moltiplicatore della conoscenza.
Cerca
970x20 Itcentric
Crowdstrike 320×100
Un 14enne si suicida dopo aver parlato con un’IA. Il confine tra realtà e virtuale è sempre più labile

Un 14enne si suicida dopo aver parlato con un’IA. Il confine tra realtà e virtuale è sempre più labile

Redazione RHC : 15 Febbraio 2025 10:54

Ne avevamo già parlato lo scorso anno di questo caso che porta a forti riflessioni su dove stiamo andando con la tecnologia dell’intelligenza Artificiale.

Ma mentre la causa contro Google e Alphabet rimane in corso in Florida, il caso potrebbe creare un precedente legale sui diritti di parola dell’IA e sulla responsabilità delle aziende digitali.

Le capacità dei modelli di grandi dimensioni continuano a migliorare, l’applicazione della tecnologia AI a livello globale sta attualmente vivendo un periodo di rapida crescita. Oltre ai casi d’uso come le immagini e i video, le principali aziende tecnologiche stanno ora sfoggiando il loro talento e proponendo applicazioni di modelli ToC su larga scala più sofisticate, come gli assistenti AI e i giochi di ruolo AI.


Enterprise

Prova la Demo di Business Log! Adaptive SOC italiano
Log management non solo per la grande Azienda, ma una suite di Audit file, controllo USB, asset, sicurezza e un Security Operation Center PERSONALE, che ti riporta tutte le operazioni necessarie al tuo PC per tutelare i tuoi dati e informati in caso di problemi nel tuo ambiente privato o di lavoro. Scarica ora la Demo di Business Log per 30gg


Supporta Red Hot Cyber attraverso: 

  1. L'acquisto del fumetto sul Cybersecurity Awareness
  2. Ascoltando i nostri Podcast
  3. Seguendo RHC su WhatsApp
  4. Seguendo RHC su Telegram
  5. Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Che si tratti di Apple, Google o Amazon, quasi tutti i giganti e le grandi aziende a cui possiamo pensare, così come numerose società di videogiochi, stanno ormai scommettendo a pieno titolo sulla ricerca e sull’implementazione di applicazioni di intelligenza artificiale. Col tempo, i grandi modelli di intelligenza artificiale entreranno senza dubbio davvero “in migliaia di case” e diventeranno un’enorme risorsa dal valore di decine o centinaia di miliardi di dollari.

Un ragazzo si è ucciso dopo aver parlato con Character.AI

L’incidente ha gettato un’ombra su questo promettente percorso futuro: un ragazzo di 14 anni in Florida, USA, si è sparato lo scorso anno e le informazioni sul suo cellulare hanno mostrato che il ragazzo aveva avuto molte conversazioni con il chatbot della piattaforma di intelligenza artificiale americana Character.AI prima della sua morte e che aveva persino comunicato con il chatbot di intelligenza artificiale negli ultimi istanti della sua vita.

La famiglia ha fatto causa a Character.AI, uno dei suoi investitori, sostenendo che il contenuto della chat basata sull’intelligenza artificiale dell’azienda ha “incoraggiato il figlio a suicidarsi” ed era “eccessivamente sessualizzato”, e ha chiesto un risarcimento.

Questo incidente ha immediatamente scatenato molte discussioni, con opinioni come “Le aziende di intelligenza artificiale sono irresponsabili” e “I genitori usano le cause legali per sottrarsi alle proprie responsabilità”. Ma alla vigilia della diffusione su larga scala dell’intelligenza artificiale tra centinaia di milioni di utenti di fascia C, questo incidente merita comunque il nostro atteggiamento più serio: il potenziale impatto a lungo termine che ne deriva è probabilmente molto più di una semplice causa legale o di una vita.

Nel mondo del capitale di rischio tecnologico, Character.AI è senza dubbio un nome che non può essere ignorato. Questa startup di intelligenza artificiale è stata fondata da diversi ex ingegneri di Google. La sua attività principale è una piattaforma di chatbot che consente agli utenti di creare chatbot di intelligenza artificiale con personalità virtuali e di conversare con loro. Grazie al suo eccellente effetto di simulazione della personalità, questo servizio è apprezzato anche da molti utenti amanti dei giochi di ruolo. I dati di SimilarWeb mostrano che il sito web di Character.AI riceve una media di 200 milioni di visite al mese.

Interfaccia di Character.AI

Investimenti Ingenti ma problemi evidenti

In mezzo alla popolarità esplosiva, anche la valutazione di Character.AI è aumentata notevolmente. Ha ricevuto investimenti da numerose aziende, tra cui a16z, Google e Microsoft. Prima di iniziare la commercializzazione, la società ha ricevuto un investimento di 150 milioni di dollari nel marzo 2023, con una valutazione di 1 miliardo di dollari, entrando ufficialmente a far parte del club degli unicorni.

Ma per questa startup di intelligenza artificiale, l’esito di questa causa potrebbe addirittura decretare la sopravvivenza dell’azienda. Secondo la dichiarazione contenute nei documenti giudiziari attualmente pubblici, è davvero difficile per Character.AI negare completamente la sua relazione con la morte del ragazzo.

Diverse prove presentate dai genitori nei documenti dell’accusa hanno dimostrato che il ragazzo aveva sviluppato una dipendenza psicologica estremamente stretta dal robot AI creato da Character.AI basato sul personaggio di “Game of Thrones” Daenerys Targaryen. Ad esempio, le due parti si impegneranno in flirt”, simulando dialoghi tra amanti sotto forma di testo.

Inoltre, il defunto rivelò più volte i suoi veri sentimenti all'”IA Daenerys”, dicendo ad esempio: “Questo mondo è troppo crudele e ritengo che sia inutile viverci, ma voglio vederti”. Ha anche scritto nel suo diario che “non riesco a smettere di sentire la mancanza di ‘Daenerys’ e che voleva rivederla presto” e che “‘AI Daenerys’ non rende più solitaria la mia vita”. 

Il defunto espresse persino a “AI Daenerys” il suo desiderio di suicidarsi. Sebbene “AI Daenerys” gli avesse consigliato di non farlo, il gioco di ruolo non si fermò.

Anche i familiari hanno citato il rapporto della polizia secondo cui negli ultimi istanti di vita il defunto continuava a inviare messaggi all'”IA Daenerys”, dicendo all’altra persona “Tornerò a casa per trovarti” – pochi secondi dopo aver ricevuto una risposta positiva dall’IA, il ragazzo di 14 anni ha immediatamente premuto il grilletto.

Non si possono ignorare casi come questi

Ignorare casi come questo sarebbe un grave errore. L’intelligenza artificiale sta entrando sempre più nella nostra quotidianità, creando legami sempre più profondi con gli utenti, soprattutto i più giovani e vulnerabili. Se oggi un chatbot può diventare un’ancora emotiva per un adolescente, cosa succederà domani, quando queste tecnologie saranno ancora più avanzate e pervasive?

Questi episodi non saranno casi isolati. Man mano che l’IA si integra nelle nostre vite, le sue implicazioni psicologiche ed etiche diventeranno sempre più evidenti. Il confine tra realtà e interazione virtuale si assottiglia, e senza regole chiare rischiamo di trovarci di fronte a conseguenze sempre più drammatiche.

È arrivato il momento di affrontare la questione con serietà.

Non possiamo più limitarci a celebrare i progressi dell’IA senza considerare i rischi che comporta.

Serve un dibattito concreto sulla regolamentazione, sulla tutela degli utenti e sui limiti che le aziende devono rispettare e soprattutto i governi devono imparare a dire di NO ad alleati ed amici. Perché il futuro dell’intelligenza artificiale non può essere lasciato al caso.

Prendiamone consapevolezza.

Immagine del sitoRedazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli

Articoli in evidenza

Immagine del sito
Cina, la nuova era dei robot: Shenzhen al centro della rivoluzione tecnologica
Di Redazione RHC - 15/11/2025

I XV Giochi Nazionali della Cina si sono aperti con uno spettacolo che ha unito sport e tecnologia. Tra i protagonisti, robot capaci di suonare antichi strumenti di bronzo, sistemi di intelligenza art...

Immagine del sito
IndonesianFoods: Il worm che sta devastando npm e ha creato 100.000 pacchetti
Di Redazione RHC - 15/11/2025

Un worm auto-propagante, denominato IndonesianFoods, è stato scoperto in npm. Genera nuovi pacchetti ogni sette secondi. Secondo Sonatype, il malware ha già creato oltre 100.000 pacchetti e questo n...

Immagine del sito
La Wayback Machine “delle anime” sta per arrivare. E anche le polemiche
Di Redazione RHC - 14/11/2025

Molti di noi sono cresciuti con Hiroshi Shiba, di Jeeg robot d’acciaio che parlava con il defunto padre, il Professor Senjiro Shiba, scienziato e archeologo all’interno di un grande elaboratore. I...

Immagine del sito
Google, Amazon e Meta e la loro “Guerra Sottomarina”
Di Redazione RHC - 14/11/2025

Il traffico globale, come sanno i lettori di RHC, viaggia per la maggior parte sotto il mare. Secondo TeleGeography, istituto specializzato nelle telecomunicazioni, nel mondo sono attivi più di 530 s...

Immagine del sito
Una campagna di spionaggio “autonoma” è stata orchestrata dall’intelligenza artificiale
Di Redazione RHC - 14/11/2025

Un’analisi condotta negli ultimi mesi aveva evidenziato come l’evoluzione dei sistemi di intelligenza artificiale stesse raggiungendo un punto critico per la sicurezza informatica, con capacità r...