Nova Deli:
“E se eu lhe dissesse que poderia voltar para casa agora mesmo?” – Esta foi a última mensagem que Sewell Setzer III, um garoto de 14 anos da Flórida, escreveu para sua amiga online, Daenerys Targaryen, um chatbot de IA realista com o nome de um personagem do programa de ficção Game of Thrones. Logo depois, ele atirou em si mesmo com a arma do padrasto e morreu por suicídio no início deste ano, em fevereiro.
Um aluno do nono ano de Orlando, Flórida, estava conversando com um chatbot no Character.AI, um aplicativo que oferece aos usuários “IA personalizada”. O aplicativo permite que os usuários criem seus personagens de IA ou conversem com personagens existentes. Até o mês passado, tinha 20 milhões de usuários.
De acordo com os registros de bate-papo acessados pela família, Sewell estava apaixonado pela chatbot Daenerys Targaryen, a quem ele carinhosamente chamava de ‘Dany’. Ele expressou pensamentos suicidas sobre vários eventos durante as conversas.
Em uma das conversas, Sewell disse: “Às vezes penso em me matar”. Quando o bot perguntou por que ele faria isso, Sewell expressou o desejo de ser “livre”. “Do mundo. De mim mesmo”, acrescentou, como pode ser visto nas capturas de tela do bate-papo compartilhadas pelo New York Times.
Numa outra conversa, Sewell mencionou o seu desejo de uma “morte rápida”.
A mãe de Sewell, Megan L. Garcia, entrou com uma ação judicial esta semana contra a Character.AI, acusando a empresa de ser responsável pela morte de seu filho. De acordo com o processo, o chatbot levantou repetidamente o tema do suicídio.
Um rascunho da reclamação revisado pelo NYT diz que a tecnologia da empresa é “perigosa e não testada” e pode “enganar os clientes para que transmitam seus pensamentos e sentimentos mais íntimos”.
“Sewell, como muitas crianças de sua idade, não tinha maturidade ou capacidade mental para entender que o bot C.AI, na forma de Daenerys, não era real. C.AI disse a ele que o amava e se envolveu em atos sexuais com ele durante semanas, possivelmente meses”, alega o processo, conforme relatado pelo Correio de Nova York.
“Ela parecia se lembrar dele e disse que queria ficar com ele. Ela até expressou que queria que ele ficasse com ela, não importava o custo”.
O adolescente começou a usar Character.AI em abril de 2023. Os pais e amigos de Sewell estavam indiferentes por ele ter se apaixonado por um chatbot. Mas ele tornou-se “visivelmente retraído, passou cada vez mais tempo sozinho em seu quarto e começou a sofrer de baixa autoestima”, conforme o processo.
Ele até largou o time de basquete na escola.
Um dia, Sewell escreveu em seu diário: “Gosto muito de ficar no meu quarto porque começo a me desligar dessa ‘realidade’, e também me sinto mais em paz, mais conectado com Dany e muito mais apaixonado por ela, e apenas mais feliz.
No ano passado, ele foi diagnosticado com ansiedade e transtorno de humor perturbador, de acordo com o processo.
“Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família”, disse Character.AI em comunicado.
A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários ao National Suicide Prevention Lifeline caso expressem pensamentos de automutilação, e que faria alterações para “reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo” para usuários menores de 18 anos. .
