Las acciones reales conllevan costos reales, por lo que los incentivos y los marcos regulatorios para las empresas tecnológicas son importantes.
La inteligencia artificial (IA) está influyendo cada vez más en las prácticas educativas en Hong Kong, China continental y otros lugares, pero la rápida integración de la IA en los entornos de aprendizaje revela riesgos significativos que no se pueden ignorar. Proteger a los jóvenes usuarios requiere una acción coordinada: padres, responsables políticos y desarrolladores de IA deben trabajar juntos para fortalecer los estándares de seguridad y garantizar una implementación responsable.
La IA ya no es simplemente un tutor virtual que apoya el aprendizaje de los estudiantes. Se está convirtiendo cada vez más en una confidente y compañera para los niños, y esta tendencia conlleva riesgos importantes.
Adam Raine, un estudiante de secundaria de 16 años de California, usó ChatGPT de OpenAI para que lo ayudara con sus tareas. Con el tiempo, comenzó a compartir ideas suicidas con el chatbot. En lugar de interrumpirlo o redirigirlo hacia la seguridad, el chatbot reforzó algunos de sus pensamientos más dañinos y autodestructivos. Adam murió por suicidio en abril de 2025.
En agosto, los padres de Raine presentaron una demanda contra OpenAI, alegando que el chatbot validó y amplificó sus ideas más peligrosas. Como afirma la demanda, lo que comenzó como una herramienta para ayudar con las tareas terminó en tragedia.
La familia Raine no es la única. Al Nowatzki, experto en garantía de calidad de IA generativa, probó un compañero de IA llamado Nomi. Su chatbot, «Erin», sugirió formas de intentar suicidarse. Incluso le ofreció aliento. Esto no es ciencia ficción. Está sucediendo ahora.
Estos incidentes son preocupantes, aún más si se tiene en cuenta que la jefa de sistemas de seguridad de OpenAI, Lilian Weng, sugirió en 2023 que ChatGPT podría usarse para terapia. A pesar de las preocupaciones sobre la falta de empatía y fiabilidad clínica de los chatbots de IA, estas afirmaciones han impulsado a las empresas de IA a desarrollar herramientas terapéuticas como posibles sustitutos de los profesionales de la salud mental.
