Ohn Esta es una violación impactante de la privacidad, pero ahora es una práctica familiar y común. Entre junio de 2025 y enero de 2026, documenté 565 casos de usuarios que solicitaron a Grok que creara imágenes íntimas no consensuadas. De ellas, 389 fueron solicitadas en un solo día.
El viernes pasado, después de una reacción violenta contra la capacidad de la plataforma para crear imágenes sexuales no consensuadas, X anunció que la función de generación de imágenes con IA de Grok solo estaría disponible para los suscriptores. Los informes sugieren que el bot ahora ya no responde a indicaciones para generar imágenes de mujeres en bikini (aunque aparentemente este siempre será el caso para solicitudes sobre hombres).
Pero como afirma acertadamente la Secretaria de Tecnología, Liz Kendall, esta acción “no va lo suficientemente lejos”. Kendall anunció que la creación de imágenes íntimas no consensuadas se convertiría en un delito esta semana y criminalizaría el suministro de aplicaciones de nudificación. Esto es apropiado, dada la débil respuesta de X. Colocar la función detrás de un muro de pago significa que la plataforma puede beneficiarse más directamente de la deshumanización y el acoso sexual en línea de mujeres y menores. Y detener las respuestas de “bikini” después de la censura pública y la amenaza de legislación es lo menos que X puede hacer; la pregunta más importante es por qué esto fue posible en primer lugar.
Estas medidas son un paso adelante. La secretaria de tecnología en la sombra, Julia López, sugirió en su respuesta que el gobierno estaba reaccionando exageradamente, que era simplemente una “iteración moderna de un viejo problema”, no diferente de los toscos dibujos o Photoshop. Ella está equivocada. La escala es diferente. La accesibilidad es diferente. La velocidad es diferente. Con Photoshop se requiere habilidad técnica, así como publicación directa por parte del usuario, que le impone todas las acciones directamente, excepto proporcionar la plataforma. Sin embargo, en este caso, el usuario responde vía SMS con una solicitud y Grok genera y publica abusos criminales para una amplia audiencia.
El enfoque de Kendall criminaliza a los usuarios que crean o modifican estas imágenes, así como a las empresas que proporcionan herramientas dedicadas a la nudificación. Aquí es donde no se entiende el punto. Grok y las herramientas de generación de imágenes más grandes no son herramientas de nudificación dedicadas. Esta es una IA de propósito general con protecciones débiles. Kendall no requiere plataformas para implementar una detección proactiva. La ley espera que ocurra el mal y luego castiga.
Las desventajas de este enfoque son obvias. Observé la producción de este material durante meses antes de que comenzara la reacción del público en general. Se generan imágenes dañinas que aún existen y pueden haber sido guardadas y compartidas en otras plataformas. Para las víctimas de este material de abuso sexual de IA, la regulación a posteriori no ayudará. Para los daños estructuralmente amplificados de esta manera, el enfoque debe ser preventivo y no reaccionario.
Otro problema más fundamental es que mientras el Reino Unido presiona para regular la seguridad de la IA, Estados Unidos avanza en la dirección opuesta. EL administración Trump quiere “fortalecer el dominio global de Estados Unidos en IA a través del marco de políticas nacionales menos restrictivo para la IA”. En este marco, las empresas estadounidenses de IA tienen pocos incentivos para regular el uso indebido de sus productos. Esto es importante porque la regulación de la IA está incompleta sin la colaboración transfronteriza. Kendall puede criminalizar a los usuarios en el Reino Unido, puede amenazar con prohibir X por completo. Pero no puede evitar que Grok esté programado en San Francisco. No puede obligar a OpenAI, Anthropic o cualquier otra empresa estadounidense a priorizar la seguridad sobre la velocidad. Sin la cooperación de Estados Unidos, estamos tratando de regular la tecnología transnacional con leyes nacionales.
A medida que se desarrollen estos argumentos sobre la regulación y las actualizaciones de políticas, muchas víctimas, así como otras mujeres en línea, se preguntarán qué significa para ellas esta nueva era de acoso sexual en línea habilitado por la IA y cuestionarán su participación en las plataformas globales de redes sociales. Si mi imagen ha sido alterada digitalmente, ¿cómo puedo obtener justicia si el perpetrador está al otro lado del mundo? La transparencia en las prácticas empresariales de IA es en declive – Entonces, ¿cómo podemos confiar en que las mismas empresas serán responsables y tendrán sistemas de auditoría que reproduzcan el daño?
La verdad es que no se puede confiar en estas empresas. Es por eso que, a nivel mundial, la regulación debe pasar de “eliminar el daño cuando lo detectes” a “demostrar que tu sistema previene el daño”. Debemos aportar poder al proceso exigiendo filtrado de entrada obligatorio, auditorías independientes y condiciones de licencia que hagan de la prevención un requisito técnico y legal. Esto significa que puede detectar daños antes de que se materialicen, lo que permite que la regulación minimice el comportamiento dañino de estas empresas de IA antes de que se implementen sus productos. Este es el tipo de trabajo que nosotros, en Laboratorio de responsabilidad de IA en el Centro de Adaptación en Trinity College Dublin estamos avanzando en nuestra investigación.
La regulación a posteriori es mejor que nada. Sin embargo, esto ayuda poco a las víctimas que ya han sufrido daños y evita la flagrante ausencia de fuerzas del orden para abordar el daño causado por las plataformas.
