Lealholm es un pueblo de postal: el tipo de asentamiento milenario con solo un salón de té, un pub, una estación de tren provincial y una oficina de correos solitaria para distinguirlo de la naturaleza salvaje que lo rodea.
La familia de Chris Trousdale había trabajado como subdirectores de correos administrando esa oficina de correos, una profesión familiar que se remontaba a 150 años. Cuando su abuelo se enfermó y se vio obligado a retirarse de la tienda, Trousdale dejó la universidad a los 19 años para volver a casa y mantener vivo el negocio familiar y servir a la comunidad.
Menos de dos años después, enfrentaba siete años de prisión y cargos de robo por un delito que no cometió. La oficina central de la oficina de correos le dijo que habían desaparecido 8.000 libras esterlinas de la oficina de correos que él dirigía, y en las semanas siguientes se enfrentó a un interrogatorio, un registro de su casa y una acusación particular.
“Fui condenado por contabilidad falsa y me declaré culpable de contabilidad falsa, porque dijeron que si no me declaraba culpable, enfrentaría siete años de cárcel”, dice.
“Realmente no puedes explicarle a la gente lo que es [realise], ‘Si no te declaras culpable de algo que no has hecho, te vamos a mandar a la cárcel por siete años’. Después de eso, mi vida [was] completamente arruinado.”
Los cargos de robo se cernieron sobre el resto de su vida. Incluso le diagnosticaron TEPT.
Pero Trousdale fue sólo uno de más de 700 empleados de la oficina de correos víctimas y procesados injustamente como parte del escándalo de Horizonllamado así por el sistema de contabilidad lleno de errores que en realidad estaba causando las deficiencias en las cuentas de las sucursales de las que se culpaba a los humanos.
Despido automatizado
Casi 15 años después de la condena de Trousdale, a más de 200 millas de distancia cerca de Londres, Ernest* (nombre cambiado) se despertó, se preparó para el trabajo y se subió al asiento del conductor de su auto, como cualquier otro día. Él estaba emocionado. Acababa de comprar un nuevo Mercedes con financiación: después de dos años y 2500 viajes con Uber, le dijeron que sus calificaciones significaban que podía calificar para ser un conductor ejecutivo de Uber y las ganancias más altas que eso conlleva.
Pero cuando inició sesión en la aplicación de Uber ese día, le dijeron que había sido despedido de Uber. No se le dijo por qué.
“Fue todo al azar. No recibí una advertencia o un aviso o algo que dijera que querían verme o hablar conmigo. Todo se detuvo”, dice Ernest.
Ha pasado los últimos tres años haciendo campaña para que se revoque la decisión con App Drivers and Couriers Union (ADCU), un sindicato de conductores de alquiler privado, incluso llevando su caso a los tribunales.
Incluso después de tres años, no está del todo claro por qué Ernest fue despedido. Inicialmente, Uber lo acusó de comportamiento fraudulento, pero desde entonces la empresa ha dicho que fue despedido debido a que rechazó demasiados trabajos.
Computer Weekly contactó a Uber sobre el despido y el consiguiente caso judicial, pero no recibió respuesta.
El impacto que el despido automático ha tenido en Ernest a lo largo de los años ha sido enorme. “Me golpeó tanto que tuve que pedir dinero prestado para pagar mis finanzas todos los meses. Ni siquiera podía decir que me habían despedido del trabajo por actividad fraudulenta. Es vergonzoso, ¿no? él dice.
Actualmente trabaja siete días a la semana como taxista y en una variedad de trabajos secundarios para mantener su cabeza fuera del agua y pagar las casi 600 libras esterlinas al mes para financiar su automóvil.
“[Uber’s] el sistema tiene un defecto”, dice. “Le faltan algunas cosas, y una de esas pocas cosas es ¿cómo puede una computadora decidir si alguien definitivamente está haciendo una actividad fraudulenta o no?”
Pero Uber está lejos de estar solo. Activistas discapacitados en Manchester están tratando de llevar al Departamento de Trabajo y Pensiones (DWP) a los tribunales por un algoritmo que supuestamente apunta erróneamente a las personas discapacitadas por fraude de beneficios. Los conductores de Uber Eats se enfrentan a ser despedidos automáticamente por un sistema de reconocimiento facial que tiene una tasa de falla del 6% para las caras que no son blancas. Se ha descubierto que los algoritmos de las plataformas de contratación como LinkedIn y TaskRabbit están sesgados en contra de ciertos candidatos. En los EE. UU., el reconocimiento facial defectuoso ha llevado a arrestos injustificados, mientras que los algoritmos priorizan a los pacientes blancos sobre los pacientes negros para la atención que salva vidas.
La lista solo crece cada año. Y estos son solo los casos de los que nos enteramos. Los algoritmos y la toma de decisiones automatizada más amplia han potenciado el daño que la toma de decisiones gubernamental o corporativa defectuosa puede tener a un tamaño antes impensable, gracias a toda la eficiencia y la escala proporcionada por la tecnología.
Justicia frenada por falta de claridad
A menudo, los periodistas se obsesionan con encontrar sistemas defectuosos o abusivos, pero se pierden lo que sucede a continuación. Sin embargo, en la mayoría de los casos, se encuentra poca o ninguna justicia para las víctimas. A lo sumo, los sistemas defectuosos se sacan de circulación sin contemplaciones.
Entonces, ¿por qué es tan difícil obtener justicia y responsabilidad cuando los algoritmos fallan? La respuesta profundiza en la forma en que la sociedad interactúa con la tecnología y expone fallas fundamentales en la forma en que opera todo nuestro sistema legal.
“Supongo que la pregunta preliminar es: ¿sabes siquiera que te han estafado?” dice Karen Yeung, profesora y experta en derecho y política tecnológica de la Universidad de Birmingham. “Hay un problema básico de opacidad total que es realmente difícil de manejar”.
La ADCU, por ejemplo, tuvo que llevar a Uber y Ola a los tribunales en los Países Bajos para tratar de obtener acceso a más información sobre cómo los algoritmos de la compañía toman decisiones automatizadas sobre todo, desde cuánto pagan y deducciones reciben los conductores, hasta si son despedidos o no. Incluso entonces, el tribunal rechazó en gran medida su solicitud de información.
Solo hay un problema básico de opacidad total con el que es realmente difícil lidiar.
Karen Yeung, Universidad de Birmingham
Además, incluso si los detalles de los sistemas se hacen públicos, tampoco hay garantía de que las personas puedan comprenderlos por completo, y eso incluye a aquellos que usan los sistemas.
“He tenido llamadas telefónicas con los consejos locales y tengo que hablar con cinco o seis personas a veces antes de que pueda encontrar a la persona que entiende incluso qué algoritmo se está utilizando”, dice Martha Dark, directora de la organización benéfica legal Foxglove.
El grupo se ha especializado en llevar a los gigantes tecnológicos y al gobierno ante los tribunales por su uso de la toma de decisiones algorítmica, y ha obligado al gobierno del Reino Unido a cambiar de sentido en múltiples ocasiones. En sólo uno de esos casos, al tratar con un ahora se retractó del algoritmo “racista” del Ministerio del Interior utilizado para transmitir solicitudes de inmigración, Dark recuerda cómo un funcionario del Ministerio del Interior insistió erróneamente, repetidamente, en que el sistema no era un algoritmo.
Y ese tipo de inexperiencia también se integra en el sistema legal. “No tengo mucha confianza en la capacidad del abogado promedio, e incluso del juez promedio, para comprender cómo se debe responder a las nuevas tecnologías, porque es toda una capa de sofisticación que es muy desconocida para el abogado común. ”, dice Yeung.
Parte del problema es que los abogados se basan en establecer analogías para establecer si ya existe un precedente legal en casos anteriores para el tema que se está deliberando. Pero la mayoría de las analogías con la tecnología no funcionan muy bien.
Yeung cita un caso judicial en Gales donde las autoridades aceptaron la tecnología de reconocimiento facial masivo mal utilizada mediante comparaciones con un oficial de policía que tomaba fotos de vigilancia de los manifestantes.
“Hay una diferencia cualitativa entre un policía con un bloc de notas y un bolígrafo y un policía con un teléfono inteligente que tiene acceso a una base de datos central total que está conectada al reconocimiento facial”, explica. “Es como la diferencia entre una navaja y una ametralladora”.
¿A quién culpar?
Luego está el espinoso tema de quién es exactamente el culpable en casos con tantos actores diferentes, o lo que generalmente se conoce en el mundo legal como ‘el problema de muchas manos’. Si bien está lejos de ser un problema nuevo para que el sistema legal intente resolver, las empresas tecnológicas y la injusticia algorítmica plantean un montón de problemas adicionales.
Tomemos el caso de los mensajeros de Uber Eats que no son blancos y que enfrentan disparos automáticos a manos de un algoritmo de reconocimiento facial “racista”. Si bien Uber estaba implementando un sistema que provocó el despido de una gran cantidad de mensajeros que no eran blancos (tiene una tasa de falla de entre el 6 y el 20% para los rostros que no son blancos), el sistema y el algoritmo fueron creados por Microsoft.
Dado lo poco que saben las diferentes partes sobre las fallas en este tipo de sistemas, la cuestión de quién debería auditarlos en busca de injusticias algorítmicas y cómo no está completamente clara. Dark, por ejemplo, también cita el caso de los moderadores de contenido de Facebook.
Actualmente, Foxglove está llevando a Facebook a los tribunales en múltiples jurisdicciones por el trato que da a los moderadores de contenido, quienes dicen que están mal pagados y no reciben apoyo mientras filtran todo, desde pornografía infantil hasta violencia gráfica.
Sin embargo, debido a que Facebook subcontrata al personal en lugar de emplearlo directamente, la empresa puede sugerir que no es legalmente responsable de sus malas condiciones sistémicas.
Entonces, incluso si logra navegar todo eso, sus posibilidades frente a un tribunal podrían verse limitadas por una simple razón: el sesgo de automatización o la tendencia a suponer que la respuesta automática es la más precisa.
En el Reino Unido, incluso hay una regla legal que significa que los fiscales no tienen que probar la veracidad de los sistemas automatizados que están usando, aunque Yeung dice que eso podría cambiar en algún momento en el futuro.
Y aunque la legislación actual del Reglamento general de protección de datos (GDPR) exige la supervisión humana de cualquier decisión automatizada que pueda “afectarlos significativamente”, no hay reglas concretas que signifiquen que la intervención humana tiene que ser algo más que un sello de goma, especialmente como en un gran número de casos que los humanos supervisan, gracias a ese mismo sesgo de automatización, regularmente se ponen del lado de la decisión automatizada, incluso si no tiene sentido.
Trampolín hacia la transparencia
Sin embargo, por ineludible y distópica que suene la injusticia algorítmica, las personas con las que habló Computer Weekly insistieron en que había cosas que se podían hacer al respecto.
Por un lado, los gobiernos y las empresas podrían verse obligados a revelar cómo funcionan los algoritmos y sistemas. Ciudades como Helsinki y Ámsterdam ya han actuado de alguna manera al respecto, introduciendo registros para cualquier IA o algoritmo desplegado por las ciudades.
Si bien el Reino Unido ha dado pasos positivos hacia Introducción de su propio estándar de transparencia algorítmica para organismos del sector público. además, solo cubre el sector público y actualmente es voluntario, según Dark.
Las personas que están utilizando sistemas que pueden ser más problemáticos no van a optar voluntariamente por registrarlos
Martha Dark, Dedalera
“La gente que está usando sistemas que podrían ser los más problemáticos no va a optar voluntariamente por registrarlos”, dice.
Para muchos, esa transparencia sería un trampolín hacia una política mucho más rigurosa. auditoría de sistemas automatizados para asegurarse de que no están lastimando a la gente. Yeung compara la situación actual con una era antes de que la auditoría financiera y las cuentas fueran obligatorias en el mundo de los negocios.
“Ahora, ahora existe una cultura de hacerlo correctamente, y necesitamos llegar a ese punto en relación con las tecnologías digitales”, dice. “Porque el problema es que, una vez que la infraestructura está ahí, no hay vuelta atrás, nunca la desmantelarán”.
Para las víctimas de la injusticia algorítmica, la batalla rara vez termina, si es que alguna vez lo hace. La “permanencia del registro digital”, como lo explica Yeung, significa que una vez que las condenas o las decisiones negativas están disponibles, al igual que una foto desnuda, “nunca podrán recuperar eso”.
En el caso de Trousdale, a pesar de casi dos décadas de frenética campaña, lo que significó que su condena fue anulada en 2019, aún no ha recibido ninguna compensación y aún tiene su ADN y huellas dactilares registradas permanentemente en la base de datos nacional de la policía.
“Han pasado casi dos años desde que se anuló mi condena, y todavía soy una víctima del sistema Horizon”, dice. “Esto no ha terminado. Todavía estamos luchando contra esto a diario”.
