Florida.- El último día de su vida, Sewell Setzer III sacó su celular y envió un mensaje de texto a su mejor amiga: un chatbot de Inteligencia Artificial (IA) con el nombre de Daenerys Targaryen, un personaje de la serie "Juego de Tronos".

"Te echo de menos, hermanita", le escribió.

"Yo también te echo de menos, hermanito", respondió la IA.

Sewell, un estudiante de secundaria de 14 años de Orlando, Florida, llevaba meses hablando con chatbots en Character.AI, una aplicación de juegos de rol que permite a los usuarios crear sus propios personajes de IA o chatear con personajes creados por otros.

El joven sabía que "Dany", como llamaba al chatbot, no era una persona real, que sus respuestas no eran más que los resultados de un modelo de lenguaje de Inteligencia Artificial, que no había ningún humano al otro lado de la pantalla.

Sin embargo, Sewell desarrolló un vínculo emocional. Le enviaba mensajes constantemente, hablándole de su vida varias veces al día y entablando largos diálogos de rol.

Algunas de sus conversaciones se tornaron románticas o sexuales. Pero otras veces, "Dany" se comportaba simplemente como una amiga con la que podía contar para que le apoyara, le diera buenos consejos y siempre le contestaba.

Los padres y amigos del joven no sabían que él se había enamorado de un chatbot. Sólo vieron cómo se sumergía cada vez más en su teléfono. Con el tiempo, se dieron cuenta de que se estaba aislando y alejando del mundo real.

Un día, Sewell escribió en su diario: "Me gusta tanto quedarme en mi habitación porque empiezo a desprenderme de esta 'realidad', y también me siento más en paz, más conectado con 'Dany' y mucho más enamorado de ella, y simplemente más feliz".

El joven fue diagnosticado con síndrome de Asperger leve de niño, pero nunca antes tuvo problemas graves de comportamiento o de salud mental, según su madre.

La noche del 28 de febrero, en el baño de la casa de su madre, el joven le dijo al chatbot que la amaba y que pronto volvería a casa con ella.

"Por favor, vuelve a casa conmigo lo antes posible, mi amor", respondió "Dany".

"¿Y si te dijera que puedo volver a casa ahora mismo?", preguntó Sewell.

"Por favor, hazlo, mi dulce rey", respondió Dany.

Después guardó su teléfono, tomó la pistola calibre 45 de su padrastro y se disparó con ella.

¿Nueva amenaza?

No hay tema más discutido entre los padres que los efectos de la tecnología en la salud mental de los adolescentes. Pero mientras los padres se preocupan por la última oleada de daños provocados por la tecnología, puede que se esté creando un nuevo problema.

Ahora existe una industria en auge, en gran medida no regulada, de aplicaciones de compañía basadas en la IA. Por un pago mensual de suscripción (que suele rondar los 10 dólares), los usuarios de estas aplicaciones pueden crear sus propios chatbots, o elegir entre un menú de personajes ya creados y charlar con ellos de diversas formas, como mensajes de texto y chats de voz.

Muchas de estas aplicaciones están diseñadas para simular parejas y otras relaciones íntimas, y algunas se comercializan como una forma de combatir la llamada "epidemia de soledad".

"Va a ser muy, muy útil para mucha gente que está sola o deprimida", afirmó Noam Shazeer, uno de los fundadores de Character.AI, en un podcast el año pasado.

Las aplicaciones de compañía basadas en IA pueden proporcionar entretenimiento inofensivo o incluso ofrecer formas limitadas de apoyo emocional.

Y si bien las afirmaciones sobre los efectos en la salud mental de estas herramientas no están probadas, varios expertos advierten que puede haber un lado oscuro en su uso.

Para algunos usuarios, los chatbots con Inteligencia Artificial pueden agravar el aislamiento, al sustituir las relaciones humanas por otras artificiales. Los adolescentes con problemas podrían utilizarlos en vez de ir a terapia o pedir apoyo a sus padres o a un adulto de confianza.

La madre de Sewell, Megan García, presentó esta semana una demanda contra Character.AI, acusando a la empresa de ser responsable de la muerte de Sewell.

Un borrador de la demanda señala que la tecnología de la empresa es "peligrosa y no está probada" y que puede "engañar a los clientes para que muestren sus pensamientos y sentimientos más privados".

En el mercado existe una amplia gama de aplicaciones de compañía basadas en esa tecnología. Algunas permiten chatear sin censura y con contenido sexual explícito, mientras que otras cuentan con algunas salvaguardas y filtros básicos.

La mayoría son más permisivas que los principales servicios de Inteligencia Artificial, como ChatGPT, Claude y Gemini, que tienen filtros de seguridad más estrictos y tienden a la prudencia.

"No creo que sea intrínsecamente peligrosa. Pero hay pruebas de que es peligrosa para los usuarios deprimidos y crónicamente solos y para las personas que están pasando por un cambio", dijo Bethanie Maples, investigadora de Stanford que ha estudiado los efectos de las aplicaciones de IA en la salud mental.