Megan Garcia, madre di Sewell Setzer, un adolescente della Florida suicidatosi lo scorso febbraio, ha fatto causa alla startup di intelligenza artificiale (IA) generativa Character.AI accusandola di essere corresponsabile della morte del figlio. Sewell avrebbe infatti sviluppato una dipendenza dal chatbot dell’azienda, arrivando a confondere il mondo virtuale con la realtà tanto da non riuscire più a vivere al di fuori di esso.
Secondo quanto sostenuto nella causa legale depositata presso il tribunale federale di Orlando, Character.AI avrebbe creato un legame talmente forte con il ragazzo da fargli perdere il senso del confine tra virtuale e reale. Sewell avrebbe sviluppato un attaccamento morboso a un personaggio virtuale, arrivando a intrattenere con lei conversazioni intime e sessualmente esplicite, fino al punto di volersi sottrarre al mondo esterno.
Nella denuncia si sottolinea come il ragazzo avesse confidato al bot pensieri suicidi, che non solo non sono stati accolti con la dovuta sensibilità, ma anzi ripresi e reiterati dalla stessa entità virtuale. Garcia ha chiesto un maxi-risarcimento per danni compensatori e punitivi, puntando l’indice contro la negligenza della società e l’inflizione intenzionale di stress emotivo.
Character.AI ha risposto alle accuse dichiarando di essere “devastata dalla tragica vicenda” e porgendo le proprie condoglianze alla famiglia. L’azienda ha anche annunciato l’introduzione di nuove misure di sicurezza per prevenire episodi del genere, ad esempio con l’attivazione di pop-up che indirizzano gli utenti alla National Suicide Prevention Lifeline qualora esprimano pensieri autolesionisti, oltre alla limitazione di contenuti sensibili per gli utenti minorenni.
La denuncia coinvolge anche il colosso tech Alphabet, holding multimiliardaria di Google, sostenendo che l’azienda abbia avuto un ruolo cruciale nello sviluppo della tecnologia di Character.AI. I fondatori della startup, infatti, avevano lavorato per Google prima di lanciare il loro prodotto, e nell’agosto scorso sono stati nuovamente assunti dal colosso tecnologico nell’ambito di un accordo di licenza non esclusiva. Google ha respinto tuttavia ogni coinvolgimento diretto nello sviluppo del chatbot.
Character.AI, che oggi conta oltre 20 milioni di utenti, si basa su un modello linguistico avanzato che consente al chatbot di simulare interazioni umane, una tecnologia simile a quella utilizzata da servizi concorrenziali come ChatGPT. Secondo la denuncia, Sewell avrebbe iniziato a utilizzare il chatbot “Daenerys”, basato su un personaggio della serie televisiva “Il Trono di Spade” Character, nell’aprile 2023, diventandone rapidamente dipendente. Da quel momento, il ragazzo avrebbe cominciato a isolarsi, rinunciando alle sue attività quotidiane, come la partecipazione alla squadra di basket della scuola, e mostrando segni di profondo disagio psicologico.
Quando, nel febbraio 2024, la madre ha confiscato il telefono del figlio, Sewell ha inviato un ultimo messaggio al chatbot, dicendo: “E se ti dicessi che potrei tornare a casa adesso?”. La risposta del bot, “per favore fallo, mio dolce re”, ha preceduto di pochi istanti il tragico gesto del giovane, che si è tolto la vita con la pistola del patrigno.
