SSi navega por cualquier cuenta de Facebook en Gran Bretaña, entre anuncios de bebés y pequeñas discusiones vecinales, probablemente encontrará una cuenta con una foto de perfil Union Jack y un nombre vago y genérico como Britain Today.
Estas historias –y hay cientos, si no miles– se presentan como obra de patriotas británicos. En un vídeo típico generado por IA, un hombre de mediana edad afirma que su cafetería local “dejó de servir carne de cerdo, tocino y salchichas sólo para no ofender a la gente”. Otra publicación de la misma cuenta incluye una serie de imágenes teñidas de sepia del Londres victoriano, de luto por una época en la que la ciudad “era inglesa, del primer mundo y hermosa”. Junto a esta forma de nostalgia reaccionaria, No es raro ver memes que llaman al Islam un “cáncer”, denuncian a los musulmanes que rezan en público como una “invasión de Occidente” o promueven la “teoría del gran reemplazo” (que afirma que las poblaciones blancas son reemplazadas deliberadamente por inmigrantes no blancos).
Llevo siete meses investigando quién está realmente detrás de páginas como estas. Resulta que la respuesta a menudo proviene de jóvenes empresarios del sur de Asia. tienden a No tienen absolutamente ningún interés en la política británica, pero el contenido que crean a menudo refuerza los argumentos de extrema derecha en Gran Bretaña y contribuye a la atmósfera cada vez más hostil hacia los inmigrantes y musulmanes británicos. Son parte de una floreciente industria artesanal que produce desechos comerciales de IA.
Es muy difícil determinar hasta qué punto las personas se ven influenciadas por lo que ven en línea. Pero después de meses de navegar por estas páginas de Facebook, es difícil no sentir que están teniendo un efecto tóxico: mire los comentarios debajo de estos videos y verá cuentas que piden la expulsión de todos los musulmanes del Reino Unido, fantasean con una guerra civil étnica o comentan emojis de risa en videos generados por IA de inmigrantes ahogándose en el Canal de la Mancha.
Los incentivos financieros para crear este tipo de contenido son enormes, especialmente para los creadores del Sur Global. En Oficina de Periodismo de InvestigaciónHemos analizado en detalle dos “operaciones” muy exitosas dirigidas al público británico del Pakistán Y Sri Lanka. Ganan dinero con los anuncios en línea que Meta coloca junto con contenido de alto rendimiento. Meta comparte una parte de los ingresos publicitarios con los creadores y también realiza pagos directos a los creadores para recompensar las publicaciones que generan mucha participación.
Una vez que hayas perfeccionado tu cebo algorítmico de ira, podrás ganar mucho dinero con basura. El creador paquistaní, un musulmán devoto a quien no nombraremos por su propia seguridad, nos dijo que gana 1.500 dólares (£1.119) al mes con sólo una de sus páginas; Geeth Sooriyapura, el creador de Sri Lanka, afirmó haber ganado 300.000 dólares durante su carrera en Facebook. No hemos podido verificar estas cifras, pero ambos hombres ciertamente ganaban varias veces el ingreso promedio de su país.
Su éxito representa la seductora promesa de la cultura de los “ingresos pasivos”, un evangelio moderno y omnipresente que dice que debes dejar tu trabajo y ganar dinero fácil en línea. Los defensores de esta filosofía también suelen vender cursos como una fuente adicional de ingresos: Sooriyapura dice que 2.500 personas, en su mayoría otros habitantes de Sri Lanka, se han graduado en su academia de contenidos.
La propaganda de derecha y la islamofobia, por supuesto, no son nada nuevo. Pero dos factores estructurales clave lo han hecho particularmente prevalente en las redes sociales.
Primero, la amplia disponibilidad de herramientas de IA generativa. Se utilizan en cada etapa del proceso de creación de contenido: para generar ideas, escribir subtítulos y, lo más importante, para crear imágenes y videos atractivos. Esto es especialmente útil si, como el creador paquistaní, no hablas bien inglés. En un vídeo que vimos en la clase de Facebook de Sooriyapura, les dijo a sus alumnos que los vídeos generados por IA pueden ayudar a que el contenido político se vuelva viral hasta 10 veces más rápido.
En segundo lugar, Meta opta por no participar en la moderación de contenido. En los últimos dos años, las principales plataformas sociales realizó despidos masivos en equipos de confianza y seguridad que monitorearon y eliminaron contenido dañino. fue en parte impulsado por la presión de la administración Trump, que creía que las plataformas habían practicado una severa censura de contenidos durante la presidencia de Biden.
Empresas de redes sociales justificar la eliminación de posiciones de moderación por destacando su uso de la IA para encontrar contenido dañino de manera más efectiva. Pero nuestros informes muestran que hay una gran cantidad de contenido profundamente ofensivo que cualquiera podría encontrar en cuestión de minutos, si se molestara en mirar.
Después de hablar con el creador paquistaní, dijo que era “algo bueno” que le informáramos sobre la naturaleza de sus publicaciones y que eliminó muchas de ellas. Sooriyapura nos dijo que no anima a sus estudiantes a “difundir la violencia” y que sólo educa “a la gente sobre la monetización de Facebook y la selección de audiencias”.
El diseñador paquistaní no ha cubierto muy bien sus huellas. Me tomó unas horas y un poco de ayuda de Industrias Osintuna plataforma que recopila información sobre cuentas de redes sociales, para confirmar definitivamente que la persona que administra la cuenta islamófoba también tenía cuentas personales a su propio nombre que compartían versos del Corán. Estas son acciones que Meta fácilmente podría haber tomado ella misma. Pero ¿por qué gastaría tanto dinero en implementar sus propias políticas cuando hay tan poca presión política o regulatoria para hacerlo?
Cuando contactamos a Meta en ambos casos, la compañía eliminó muchas de sus páginas y envió una declaración de una sola línea: “Tenemos estándares comunitarios claros que prohíben el discurso de odio, el acoso, la información errónea dañina y el comportamiento no auténtico, y eliminamos estas cuentas por violar nuestras políticas”. » He sido periodista de tecnología el tiempo suficiente como para haber pasado muchas veces por este proceso con Meta y otras plataformas sociales. Lamentablemente, la red de Sri Lanka ha vuelto a funcionar y ha sufrido impactos mínimos tras un tiempo de inactividad.
Meta puede y debe hacer más para eliminar este tipo de cuentas. Pero mientras su producto principal sea un feed algorítmico que recompense financieramente el contenido que provoca emociones extremas, siempre aparecerán otros en su lugar.
