El sitio de chatbot Character.ai impide que los adolescentes tengan conversaciones con personajes virtuales, después de haber estado sujetos a escrutinio sobre su posición durante varios años.
La plataforma, fundada en 2021, es utilizada por millones de personas para hablar con chatbots impulsados por inteligencia artificial (IA).
Pero enfrenta varias demandas en Estados Unidos por parte de sus padres, incluida una por la muerte de un adolescente, y algunos lo llaman “peligro claro y presente“a los jóvenes.
Ahora, Character.ai dice que a partir del 25 de noviembre, los menores de 18 años solo podrán generar contenido como videos con sus personajes, en lugar de hablar con ellos como pueden hacerlo actualmente.
La compañía dijo que estaba realizando los cambios después de “informes y comentarios de reguladores, expertos en seguridad y padres” que resaltaron preocupaciones sobre las interacciones de sus chatbots con adolescentes.
Los expertos han advertido anteriormente sobre la posibilidad de que los chatbots de IA inventen cosas, sean demasiado alentadores y finjan empatía, lo que puede suponer riesgos para los jóvenes y vulnerables.
“El anuncio de hoy continúa nuestra creencia general de que debemos continuar construyendo la plataforma de inteligencia artificial más segura del planeta con fines de entretenimiento”, dijo el jefe de Character.ai, Karandeep Anand, a BBC News.
Dijo que la seguridad de la IA era “un objetivo en movimiento”, pero que la empresa había adoptado un enfoque “agresivo”, con controles y salvaguardias parentales.
El grupo de seguridad en línea Internet Matters acogió con satisfacción el anuncio, pero dijo que se deberían haber incorporado medidas de seguridad desde el principio.
“Nuestra propia investigación muestra que los niños están expuestos a contenidos dañinos y corren riesgos al interactuar con la IA, incluidos los chatbots de IA”, dice.
Hizo un llamado a las “plataformas, padres y formuladores de políticas” para garantizar que las experiencias de los niños utilizando la IA sean seguras.
Character.ai ha sido criticado en el pasado por albergar chatbots potencialmente peligrosos u ofensivos con los que pueden hablar los niños.
Se han publicado avatares que se hacen pasar por las adolescentes británicas Brianna Ghey, asesinada en 2023, y Molly Russell, que se suicidó a los 14 años tras ver información sobre el suicidio en Internet. descubierto en el sitio en 2024 antes de ser desmantelado.
Posteriormente, en 2025, la Oficina de Periodismo de Investigación (TBIJ) descubrió un chatbot basado en el pedófilo Jeffrey Epstein que había grabado más de 3.000 chats con usuarios.
El medio informó El avatar de “Bestie Epstein” continuó coqueteando con su reportero después de que este le dijera que era un niño. Fue uno de los varios bots informados por TBIJ que luego fueron eliminados por Character.ai.
Anand dijo que el nuevo objetivo de la compañía era proporcionar “características de juego de rol (y) narración de historias aún más profundas” para adolescentes, y agregó que serían “mucho más seguras que lo que podrían hacer con un robot abierto”.
También estarán disponibles nuevos métodos de verificación de edad y la empresa financiará un nuevo laboratorio de investigación de seguridad de IA.
El experto en redes sociales Matt Navarra dijo que se trataba de una “llamada de atención” para la industria de la IA, que está pasando “de la innovación sin permiso a la regulación poscrisis”.
“Cuando una plataforma que crea una experiencia para adolescentes se desconecta nuevamente, significa que las discusiones filtradas no son suficientes cuando la atracción emocional de la tecnología es fuerte”, le dijo a BBC News.
“No se trata de filtraciones de contenido. Se trata de cómo los robots de IA imitan las relaciones de la vida real y desdibujan las líneas para los usuarios más jóvenes”, añadió.
Navarra también dijo que el gran desafío para Character.ai será crear una plataforma de inteligencia artificial atractiva que los adolescentes aún quieran usar, en lugar de cambiar a “alternativas menos seguras”.
Mientras tanto, la Dra. Nomisha Kurian, que ha estudiado la seguridad de la IA, dijo que era “sabio” restringir el uso de chatbots por parte de los adolescentes.
“Ayuda a separar el juego creativo de los intercambios más personales y emocionalmente sensibles”, dijo.
“Esto es muy importante para los usuarios más jóvenes que todavía están aprendiendo a navegar por los límites emocionales y digitales.
“Las nuevas métricas de Character.ai podrían reflejar una fase de maduración en la industria de la IA: la seguridad infantil se reconoce cada vez más como una prioridad urgente para la innovación responsable”.
