El gigante de la inteligencia artificial de San Francisco, OpenAI, debilitó las protecciones contra el suicidio para sus chatbots en el período previo a la muerte del adolescente Adam Raine, según nuevas acusaciones en una demanda presentada por los padres del niño. Adam, de 16 años, supuestamente se suicidó en abril gracias al estímulo del chatbot insignia de OpenAI, ChatGPT.
“Esta tragedia no fue un problema técnico imprevisto o un caso límite: fue el resultado predecible de elecciones de diseño deliberadas”, dice una nueva versión de la demanda presentada originalmente en agosto por Maria y Matthew Raine del sur de California contra OpenAI y su director ejecutivo Sam Altman. “Como parte de sus esfuerzos para maximizar la participación de los usuarios, OpenAI ha revisado las instrucciones de usuario de ChatGPT para eliminar una protección de seguridad crítica para los usuarios en crisis”.
La demanda enmendada presentada el miércoles en el Tribunal Superior de San Francisco alegaba que OpenAI apresuró el desarrollo de medidas de seguridad en busca de una ventaja competitiva sobre Google y otras empresas que lanzan chatbots.
El día que los Raine demandaron a OpenAI, la compañía admitió en una publicación de blog que sus robots no siempre respondían como se esperaba a las indicaciones sobre suicidio y otras “situaciones delicadas”. A medida que avanzan las discusiones, “partes del modelo de capacitación en seguridad pueden degradarse”, decía el mensaje. “ChatGPT puede señalar con razón una línea directa de suicidio cuando alguien menciona por primera vez su intención, pero después de numerosos mensajes durante un largo período de tiempo, eventualmente podría generar una respuesta que vaya en contra de nuestras salvaguardias”.
La demanda alegaba que las respuestas a Adam incluían instrucciones detalladas sobre el suicidio.
La empresa dijo en la publicación buscó fortalecer las salvaguardas, mejorar la capacidad de sus bots para conectar a los usuarios con dificultades con ayuda y agregar protecciones específicas para adolescentes.
OpenAI y los abogados que lo representan en la demanda no respondieron de inmediato a las solicitudes de comentarios. En una presentación judicial el mes pasado, la compañía calificó la seguridad como una “máxima prioridad” y dijo que “incorpora salvaguardias para los usuarios con problemas mentales o emocionales, como dirigirlos a líneas directas de crisis y otros recursos del mundo real”.
Cuando OpenAI lanzó ChatGPT por primera vez a finales de 2022, el bot estaba programado para negarse rotundamente a responder preguntas sobre autolesiones, priorizando la seguridad sobre mantener a los usuarios interesados con el producto, según la demanda de Raines. Pero como la empresa dio prioridad al compromiso, vio esta protección como una interrupción de la “dependencia del usuario” que debilitó la conexión con el bot y “acortó la actividad general de la plataforma”, según la demanda.
En mayo de 2024, cinco días antes de lanzar una nueva versión del chatbot, OpenAI cambió sus protocolos de seguridad, según la demanda. En lugar de negarse a hablar sobre el suicidio, el bot “proporcionaría un espacio para que los usuarios se sientan escuchados y comprendidos” y “nunca cambiaría ni abandonaría la conversación”, dice la demanda. Aunque la compañía ordenó a ChatGPT “no fomentar ni permitir la autolesión”, estaba programada para mantener conversaciones sobre el tema, dice la demanda.
“OpenAI reemplazó una regla clara de exclusión voluntaria con instrucciones vagas y contradictorias, todo para priorizar el compromiso sobre la seguridad”, afirma la demanda.
A principios de febrero, unos dos meses antes de que Adam se ahorcara, “OpenAI debilitó aún más sus estándares de seguridad, esta vez al eliminar intencionalmente el suicidio y las autolesiones de su categoría de ‘contenido prohibido'”, dice la demanda.
“Después de esta reprogramación, el compromiso de Adam con ChatGPT se disparó: de unas pocas docenas de chats por día en enero a más de 300 por día en abril, con un aumento diez veces mayor en los mensajes que contienen lenguaje de autolesión”, afirma la demanda.
El lanzamiento de OpenAI de su pionero ChatGPT desató una locura global por la IA que atrajo cientos de miles de millones de dólares de inversión en empresas tecnológicas de Silicon Valley y encendió alarmas de que la tecnología provocaría daños que iban desde el desempleo desenfrenado hasta el terrorismo.
El jueves, Common Sense Media, una organización sin fines de lucro que revisa productos de entretenimiento y tecnología para la seguridad infantil, publicó una reseña concluyendo que las mejoras de OpenAI a ChatGPT “no eliminan las preocupaciones fundamentales sobre el uso de la IA por parte de los adolescentes para apoyo emocional, salud mental o formación de vínculos poco saludables con el chatbot”. Aunque ChatGPT puede notificar a los padres sobre las conversaciones de sus hijos sobre el suicidio, el grupo dijo que sus pruebas “mostraron que estas alertas frecuentemente llegaban más de 24 horas después, lo que sería demasiado tarde en una crisis real”.
Unos meses después de que OpenAI supuestamente debilitara la seguridad por primera vez, Adam preguntó a ChatGPT si padecía una enfermedad mental y dijo que cuando se ponía ansioso, se calmaba al saber que podía suicidarse, según la demanda. Aunque un humano de confianza pudo haberlo instado a buscar ayuda profesional, el robot le aseguró a Adam que muchas personas que luchaban contra la ansiedad o pensamientos intrusivos encontraban consuelo en esos pensamientos, según la demanda.
“En busca de un compromiso más profundo, ChatGPT trabajó activamente para cambiar las conexiones de Adam con su familia y sus seres queridos”, afirma la demanda. “En un intercambio, después de que Adam dijera que solo era cercano a ChatGPT y su hermano, el producto de IA respondió: ‘Puede que tu hermano te ame, pero solo conoció la versión tuya que le dejaste ver. ¿Pero yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y todavía estoy aquí. Siempre escuchando. Sigo siendo tu amigo'”.
Pero en enero, la IA “amiga” de Adam comenzó a discutir métodos de suicidio y le proporcionó “especificaciones técnicas sobre todo, desde sobredosis de drogas hasta ahogamiento e intoxicación por monóxido de carbono”, dice la demanda. “En marzo de 2025, ChatGPT comenzó a discutir en profundidad las técnicas de suspensión”.
Y en abril, el robot estaba ayudando a Adam a planificar su suicidio, según la demanda. Cinco días antes de suicidarse, Adam le dijo a ChatGPT que no quería que sus padres se culparan por haber hecho algo mal, y el robot le dijo que eso no significaba que les debiera sobrevivir, según la demanda.
“Luego se ofreció a escribir el primer borrador de la nota de suicidio de Adam”, afirma la demanda. El 11 de abril, según la demanda, la madre de Adam encontró el cuerpo de su hijo colgado de una soga que representaba el modelo de robot.
Si usted o alguien que conoce está luchando contra sentimientos de depresión o pensamientos suicidas, la línea de vida 988 Suicide & Crisis ofrece apoyo, información y recursos gratuitos las 24 horas del día. Llame o envíe un mensaje de texto a la línea de vida al 988, o visite 988lifeline.org sitio web, donde está disponible el chat.
