La Internet Watch Foundation (IWF) dice que sus analistas han descubierto “imágenes criminales” de niñas de entre 11 y 13 años que “parecen haber sido creadas” utilizando Grok.
La herramienta de IA es propiedad de la empresa xAI de Elon Musk. Se puede acceder a él a través de su sitio web y aplicación o mediante la plataforma de redes sociales X.
La IWF dijo que encontró “imágenes sexualizadas y en topless de niñas” en un “foro de la web oscura” en el que los usuarios afirmaban haber utilizado Grok para crear las imágenes.
La BBC se ha puesto en contacto con X y xAI para solicitar comentarios.
Ngaire Alexander, de la IWF, dijo a la BBC que herramientas como Grok ahora corren el riesgo de “llevar imágenes sexuales de niños mediante IA a la corriente principal”.
Dijo que el material se clasificaría como Categoría C según la ley del Reino Unido, el material criminal más grave.
Pero dijo que el usuario que la subió utilizó una herramienta de inteligencia artificial diferente, no creada por xAI, para crear una imagen de Categoría A, la categoría más seria.
“Estamos extremadamente preocupados por la facilidad y velocidad con la que las personas aparentemente pueden generar material fotorrealista sobre abuso sexual infantil (CSAM)”, dijo.
La caridad, que tiene como objetivo eliminar material de abuso sexual infantil desde Internet, gestiona una línea directa para denunciar casos sospechosos de explotación sexual y emplea a analistas que evalúan la legalidad y la gravedad de dichos contenidos.
Sus analistas encontraron el material en la web oscura; las imágenes no se encontraron en la plataforma de redes sociales X.
Ofcom se puso en contacto previamente con X y xAI, luego de informes de que Grok podría usarse para crear “imágenes sexualizadas de niños” y desnudar mujeres.
La BBC ha visto varios ejemplos en la plataforma de redes sociales.
La IWF dijo que había recibido informes de tales imágenes en X, pero que aún no se había evaluado que cumplieran con la definición legal de CSAM.
En una declaración anterior, X dijo: “Tomamos medidas contra el contenido ilegal en X, incluido CSAM, eliminándolo, suspendiendo permanentemente las cuentas y trabajando con los gobiernos locales y las autoridades cuando sea necesario.
“Cualquiera que utilice o aliente a Grok a crear contenido ilegal enfrentará las mismas consecuencias que si subiera contenido ilegal”.
