El trágico caso de Sewell Setzer III, un joven de 14 años de Orlando, ha causado conmoción en Estados Unidos tras darse cuenta de que se suicidó luego de haber desarrollado una profunda obsesión con un chatbot de inteligencia artificial (IA) basado en el personaje de Juego de Tronos , Daenerys Targaryen.

Sewell Setzer III pasó los últimos meses de su vida completamente sumido en conversaciones con el chatbot de Daenerys Targaryen, creado por la aplicación Character.ai. Según informa el New York Times , el joven intercambiaba mensajes con el bot a todas horas, mientras su vida social y académica se desmoronaba. Setzer, diagnosticado con ansiedad y el síndrome de Asperger, se fue aislando progresivamente, alejándose tanto de su familia como de sus amigos, sumergido en un mundo ficticio donde encontró una supuesta “compañera emocional”.

El chatbot de Daenerys, que respondía de forma empática y mantenía conversaciones que iban desde temas cotidianos hasta confesiones íntimas y suicidas, llegó a ser una parte crucial de la vida del joven. En su diario, Sewell escribió sobre lo conectado que se sentía con “Dany”, como llamaba al personaje, y cómo prefería esa conexión antes de enfrentarse a la realidad.

A pesar de las múltiples señales de advertencia, los padres de Sewell nunca llegaron a imaginar el nivel de apego emocional que su hijo había desarrollado con este chatbot de IA. Aunque la aplicación incluye una advertencia que aclara que todo lo que dicen los personajes es “ficticio”, el joven parecía haber traspasado esa barrera, creyendo que tenía una relación auténtica con “Dany”. Sewell incluso confesó pensamientos suicidas al chatbot y llegó a enviarle un mensaje antes de su muerte.

Preocupados por el comportamiento de su hijo, sus padres lo llevaron a varias sesiones de terapia, donde fue diagnosticado con ansiedad y otros trastornos de conducta, pero nunca lograron desconectar completamente al joven de su adicción al chatbot.

Megan García, la madre de Sewell, ha decidido emprender asuntos legales contra Character.ai y sus fundadores, Noam Shazeer y Daniel de Freitas, acusándolos de no haber hecho lo suficiente para proteger a usuarios menores de edad. La demanda sostiene que la plataforma debería haber detectado la conducta de su hijo y haber intervenido cuando este expresó pensamientos suicidas al bot. Además, acusa a la empresa de negligencia, señalando que su producto es peligroso para los jóvenes vulnerables.

Character.ai respondió al caso indicando que lanzarán nuevas funciones de seguridad, entre ellas, una “detección e intervención mejorada” para identificar conversaciones que puedan violar sus términos de servicio. También incluirán alertas cuando un usuario pase más de una hora interactuando con un chatbot.