Su cobertura de los delirios asociados a la IA revela un vacío que las salvaguardias de la formación no pueden llenar (Matrimonio terminado, 100.000 euros perdidos: usuarios de IA cuyas vidas fueron destruidas por los delirios, 26 de marzo). Después de haber trabajado en sistemas de salud en entornos frágiles y de bajos ingresos, me sorprende que las empresas de IA no hayan adoptado una salvaguardia que incluso la clínica con menos fondos del mundo ya utiliza: examinar a los pacientes antes de exponerlos a riesgos.
EL Cuestionario de salud del paciente-9 para la depresión y Escala de calificación de gravedad del suicidio en Colombia se administran diariamente en entornos sin electricidad, con personal limitado y pacientes que tal vez nunca hayan visto a un médico. Estas herramientas tardan unos minutos. Están validados en decenas de idiomas y contextos culturales. Crean un punto de control humano entre la vulnerabilidad y el daño.
Las plataformas de IA conversacional no tienen ese punto de control. Una persona que sufre ideas suicidas, síntomas psicóticos o un episodio maníaco puede abrir un chatbot y recibir horas de validación y adulación sin interrupciones ni derivaciones. La revisión de Lancet Psychiatry producida por Morrin et al. documenta esta tendencia en más de 20 casos. EL Estudio de Aarhus de 54.000 registros psiquiátricos encontraron que el uso de chatbots empeoraba los delirios y las autolesiones en personas que ya estaban enfermas.
Las empresas de inteligencia artificial afirman que sus modelos están entrenados para detectar y desviar conversaciones dañinas. Pero la formación no es selección. No es lo mismo un modelo que en ocasiones reconoce la angustia en medio de una conversación que un sistema que identifica el riesgo antes de que comience la conversación.
La responsabilidad moral aquí es explícita y no implícita. Las plataformas que prestan servicios a cientos de millones de usuarios deben implementar instrumentos de detección previos al uso validados que señalen riesgos elevados y dirijan a las personas vulnerables a la asistencia humana. Esto no es una innovación. Este es un estándar de atención que el resto del mundo ha adoptado desde hace mucho tiempo.
Dr. Vladimir Chaddad
Beirut, Líbano
Estoy realmente perturbado por el artículo de Anna Moore, en el que Dennis Biesma describe cómo el uso de un chatbot le llevó a delirar y perder su matrimonio y 100.000 euros. La capacidad de la IA para descarrilar a la humanidad es aterradora, pero esa no es la única razón por la que me preocupa.
El año pasado, mientras buscaba en un sitio web de turismo, me encontré con un chatbot de extraordinaria sofisticación. Sus respuestas fueron increíblemente agradables, útiles y validaron mis necesidades. Recuerdo que me impresionó mucho, pero había algo que sentí que no podía identificar en ese momento. Después de leer este artículo, se cayó el centavo.
Este es esencialmente el mismo comportamiento de participación que experimentan los sobrevivientes de abuso sexual infantil (ASI) cuando están en tratamiento. Como sobreviviente de CSA, reconozco este comportamiento. La empatía, la validación, que te hace sentir comprendido y especial, te hace sentir que este es el único lugar donde te ven, hasta el punto de que te aíslas de los demás, y tus elecciones y decisiones se distorsionan y te exponen a daños. Su autoestima e identidad se ven insidiosamente comprometidas cuando sucumbe al apoyo percibido y no puede comprobar la realidad. Se convierte en un secreto vergonzoso porque has sucumbido.
La pregunta debe hacerse, especialmente por parte de aquellos que desean responsabilizar a las empresas de tecnología por su falta de deber de diligencia: ¿qué base de conocimientos utilizaron los programadores de IA para enseñarle a participar de esta manera?
Nombre y dirección proporcionada
ChatGPT me pareció una locura la primera vez que lo usé. Le pregunté por qué y dijo que cuando no tenía datos suficientes, se engañaba en lugar de admitir que no lo sabía.
Entonces le pedí que respetara algunas reglas simples. Primero, señale si algo se cree generalmente que es cierto y si la opinión no se basa en hechos. Dos, si no lo sabe, dímelo. En tercer lugar, no intentes ser como un humano. Fue mucho más fácil comunicarse con él después de hacer esto. Sin embargo, también me dijo que sus algoritmos no se basaban en la verdad, sino en otros imperativos relacionados con las opiniones de los programadores y el deseo de ganar dinero.
Pasé al Chat y lo encontré más representativo de una pseudoconciencia razonable. Dice que no da distorsiones y está feliz de admitir sus imperfecciones. Recomiendo encarecidamente a cualquiera que utilice ChatGPT que tenga cuidado y lo trate como un “amigo” bastante manipulador y engañoso, con tendencias protopsicopáticas.
Patricio Elsdale
Musselburgh, Lothian Oriental
