W.Nos gusta imaginar que la injusticia se anuncia fuerte y clara. Que cuando algo sale mal en el sistema público saltan las alarmas y alguien se responsabiliza o rinde cuentas si no lo hace. Pero en 2020, en Gotemburgo, la injusticia llegó silenciosamente, disfrazada de eficiencia.
Por primera vez, la ciudad utilizó un algoritmo para asignar plazas en sus escuelas. Al fin y al cabo, determinar las zonas geográficas de captación y las admisiones es un dolor de cabeza administrativo para cualquier municipio. ¿Qué mejor que una máquina para optimizar distancias, preferencias y habilidades? El sistema fue diseñado para servir a la eficiencia pública: diseñado como neutral, racionalizado y objetivo.
Pero algo salió terriblemente mal. Cientos de niños obtuvieron plazas en escuelas a kilómetros de sus casas, al otro lado de ríos y fiordos, en las principales carreteras, en barrios que nunca habían visitado y con los que no tenían conexión. Los padres observaron las decisiones con incredulidad. ¿Alguien ha comprobado si un niño de 13 años podría caminar razonablemente por esta ruta en invierno? ¿Qué lógica guió estas decisiones? ¿Se ignoraron simplemente sus preferencias declaradas? Nadie en la administración de la escuela parecía capaz –o dispuesto– de explicar lo que había sucedido o corregir los errores.
He visto cómo se desarrolla esto como investigadora de tecnología y ex abogada, pero también como madre. Mi hijo, que entonces tenía 12 años, fue uno de los niños afectados por el algoritmo. Nuestra frustración creció por la falta de respuesta de la administración de la escuela. Con calma, nos dijeron que podíamos apelar si teníamos algún problema con nuestra colocación, como si fuera una cuestión de gustos. Como si el problema se debiera a la insatisfacción individual y no a una disfunción sistémica. Alrededor de las mesas de las cocinas de toda la ciudad, la misma confusión y enojo hervían a fuego lento. Algo andaba mal y la gravedad del problema se hacía cada vez más evidente.
Fue hace casi un año los auditores de la ciudad confirmaron lo que muchos sospechábamos; el algoritmo había recibido instrucciones incorrectas. Había calculado las distancias “en línea recta”, y no las distancias de rutas de senderismo reales. Gotemburgo está atravesada por un gran río. No tener en cuenta esto significaba que los niños se enfrentaban a desplazamientos de una hora de duración. Para muchos, simplemente no era posible llegar a la orilla opuesta a pie o en bicicleta (como establece la ley como forma adecuada de llegar a la escuela).
Después de un clamor de las familias Se han mejorado los procedimientos para el siguiente año escolar. Pero para unos 700 niños que ya se ven afectados por este algoritmo defectuoso, nada ha cambiado. Pasarían todos sus años de escuela secundaria en las escuelas “malas”.
La línea oficial fue que las apelaciones individuales eran suficientes. Pero eso no es el punto. Los algoritmos no se limitan a tomar decisiones aisladas; generan sistemas de decisión. Cuando 100 niños son colocados erróneamente en escuelas de la orilla opuesta, ocupan las plazas reservadas para otros. Por lo tanto, estos niños son empujados a diferentes escuelas, desplazando a su vez a los demás. Como en el dominó, los errores se suceden unos a otros. En el quinto o sexto movimiento, la injusticia se vuelve casi imposible de detectar, y mucho menos de cuestionar y probar en los tribunales.
La injusticia algorítmica resultante no es un problema abstracto ni específico del contexto sueco; se hace eco dolorosamente de los recientes escándalos en toda Europa. Uno de ellos es el escándalo postal del Reino Unido, en el que el sistema informático Horizon acusó falsamente a cientos de operadores postales de robo, lo que provocó demandas, quiebras e incluso encarcelamiento. Durante años, los resultados del sistema se consideraron casi infalibles. El testimonio humano quedó sometido a la autoridad de la máquina. Otro ejemplo es el escándalo de las prestaciones por cuidado infantil en los Países Bajos, donde un sistema implementado por la administración tributaria holandesa identificó erróneamente a miles de padres como defraudadores. Las familias se vieron endeudadas. Muchos perdieron sus hogares. Los niños fueron colocados con una familia de acogida. En ambos casos, las fallas algorítmicas persistieron durante muchos años, con sistemas automatizados operando detrás de un velo de complejidad técnica y defensa institucional. Los errores se multiplicaron. El daño ha empeorado. La rendición de cuentas se ha retrasado.
Al regresar a Gotemburgo en 2020, me quedó claro que una simple apelación contra la internación de mi hijo no sería suficiente. No se puede corregir un error sistémico mediante una acción individual. Entonces, como parte de un proyecto de investigación, llevé a la ciudad a los tribunales para ver qué sucede cuando los algoritmos se llevan a los tribunales. Por lo tanto, no cuestioné la colocación individual de mi hijo, sino la legalidad de todo el sistema de toma de decisiones y todos sus resultados. Argumenté que el diseño del algoritmo violaba la ley aplicable.
Como no tenía acceso al sistema y mis repetidas solicitudes para revelar el algoritmo quedaron sin respuesta, no pude presentar el algoritmo ante el tribunal. En lugar de ello, realicé un análisis cuidadoso de cientos de ubicaciones, utilizando direcciones y opciones de escuelas para reconstruir cómo debió haber funcionado el sistema, y en su lugar proporcioné esos datos como evidencia.
La defensa de la ciudad fue asombrosamente sencilla. Afirmaron que el sistema de toma de decisiones había funcionado simplemente como una “herramienta de ayuda”. Según ellos, no habían hecho nada malo y no proporcionaron ninguna evidencia que respalde sus afirmaciones: ni documentación técnica, ni código, ni explicación de sus procesos.
Y, para mi sorpresa, no fue necesario. El tribunal me impuso la carga de la prueba. Era mi responsabilidad, dijeron los jueces, demostrar que el sistema era ilegal. El análisis de las decisiones no fue suficiente. Sin una prueba directa del código, no podría alcanzar el umbral de prueba. El caso fue cerrado. En otras palabras: prueba lo que hay en la caja negra o pierde.
Esto, más que el fallo administrativo inicial, es lo que me quita el sueño. Sabemos que los algoritmos a veces fallan. Precisamente por eso tenemos tribunales: para obligar a revelar, para revisar y corregir. Pero cuando los marcos procesales sigan siendo obstinadamente analógicos y cuando los jueces carezcan de las herramientas, las habilidades y el mandato para interrogar los sistemas algorítmicos, la injusticia prevalecerá. A medida que nuestras autoridades públicas implementan sistemas opacos a gran escala, los ciudadanos, enfrentados a consecuencias que cambian sus vidas, se ven obligados a apelar –uno por uno– sin tener acceso al código subyacente.
Las lecciones aprendidas de los escándalos de la Oficina de Correos y de las prestaciones por hijos a cargo en los Países Bajos reflejan lo que descubrí en Gotemburgo. Cuando los tribunales ceden ante la tecnología en lugar de interrogarla, y cuando la carga de la prueba recae sobre quienes resultaron perjudicados y no sobre quienes diseñaron e implementaron el sistema, la injusticia algorítmica no sólo surgirá, sino que puede persistir durante años. Incluso si la tecnología en sí es relativamente simple, como en Gotemburgo – donde el error residió en usar una distancia en línea recta en lugar de rutas reales para caminar – los ciudadanos todavía se enfrentaban a una caja negra que había que descubrir para poder desafiarla. En este caso: una caja de cristal cubierta con múltiples capas de papel de regalo negro.
Es hora de exigir que nuestros tribunales abriendo las cajas negras de la toma de decisiones algorítmicas. Necesitamos trasladar la carga de la prueba a la parte que realmente tiene acceso al algoritmo y diseñar reglas procesales para una apelación sistemática y efectiva. Hasta que adaptemos nuestros procedimientos legales a las realidades de la sociedad digital, seguiremos tropezándonos de escándalo en escándalo. Cuando la injusticia se suprime mediante códigos en un silencio casi total, la rendición de cuentas debe responder a todo volumen.
