La Unión Europea (UE) debería prohibir completamente el uso de inteligencia artificial (IA) y sistemas automatizados para “predecir” el comportamiento delictivo, dice una organización no gubernamental (ONG) que hace campaña por sistemas de justicia penal justos e iguales a nivel mundial.
Según Fair Trials, el uso de sistemas automatizados de toma de decisiones para predecir, perfilar o evaluar el riesgo o la probabilidad de comportamiento delictivo de las personas, también conocido como vigilancia policial predictiva, está reforzando la discriminación y socavando los derechos humanos fundamentales, incluido el derecho a un juicio justo y la presunción de inocencia.
El llamado del grupo a la prohibición total de tales sistemas se produce antes del próximo debate del Parlamento Europeo sobre el uso de inteligencia artificial en asuntos penales por parte de la policía y las autoridades judiciales, que se llevará a cabo entre el 4 y el 6 de octubre de 2021.
“El uso de inteligencia artificial y sistemas automatizados para predecir el comportamiento futuro de las personas o la supuesta criminalidad no es solo un tema de películas futuristas distópicas, sino que actualmente es una estrategia operativa existente de la policía y las autoridades de justicia penal en toda Europa”, dijo Griff Ferris, oficial legal y de políticas. en Fair Trials.
“Estos sistemas se están utilizando para crear predicciones, perfiles y evaluaciones de riesgos que afectan la vida de las personas de una manera muy real. Entre otros resultados graves y severos, pueden llevar a que personas, a veces incluso niños, sean puestas bajo vigilancia, detenidas y registradas, interrogadas y arrestadas, aunque no se haya cometido ningún delito real ”.
Fair Trials trazó cómo los sistemas policiales predictivos conducen a resultados discriminatorios en su Automatizar la injusticia El informe, publicado el 9 de septiembre de 2021, encontró a través de numerosos estudios de casos que “casi inevitablemente” utilizan datos que dependen en gran medida o están compuestos en su totalidad por datos provenientes de las propias autoridades encargadas de hacer cumplir la ley.
“Estos datos y registros no representan un registro exacto de criminalidad, sino simplemente un registro de decisiones policiales, procesales o judiciales: los delitos, lugares y grupos que son vigilados, procesados y criminalizados dentro de esa sociedad, en lugar de la ocurrencia real de crimen ”, decía.
“El uso de inteligencia artificial y sistemas automatizados para predecir el comportamiento futuro de las personas o la supuesta criminalidad no es solo un tema de películas futuristas distópicas, sino que actualmente es una estrategia operativa existente de las autoridades policiales y de justicia penal en toda Europa”
Griff Ferris, Fair Trials
“Es posible que los datos no se categoricen o manipulen deliberadamente para producir resultados discriminatorios, pero reflejarán los sesgos estructurales y las desigualdades en la sociedad que representan los datos. Por ejemplo, las acciones policiales resultantes o influenciadas por el perfil racial o étnico, o la focalización de personas de bajos ingresos, pueden resultar en datos sesgados sobre ciertos grupos en la sociedad “.
Críticas de larga data
Desde hace mucho tiempo, los críticos de los sistemas policiales predictivos han presentado argumentos similares. En marzo de 2020, por ejemplo, la evidencia enviada a las Naciones Unidas (ONU) por la Comisión de Igualdad y Derechos Humanos (CEDH) del Reino Unido dijo que el uso de la vigilancia policial predictiva podría replicar y magnificar “los patrones de discriminación en la actividad policial, al tiempo que da legitimidad a los procesos sesgados”. ”.
Añadió: “La dependencia de ‘macrodatos’ que abarcan grandes cantidades de información personal también puede infringir los derechos de privacidad y dar lugar a la autocensura, con el consiguiente efecto paralizador de la libertad de expresión y asociación”.
El 7 de septiembre de 2021, varios académicos advirtieron al Comité de Justicia y Asuntos de Interior de la Cámara de los Lores sobre los peligros de la vigilancia policial predictiva.
Rosamunde Elise Van Brakel, codirectora de la Red de Estudios de Vigilancia, por ejemplo, señaló que los datos “que se utilizan a menudo son datos de arrestos, y ha quedado muy claro que estos datos están sesgados, especialmente como resultado de la elaboración de perfiles étnicos por parte de la policía ”Y que todo el tiempo“ estos datos tienen este sesgo social incorporado, el software siempre estará sesgado ”.
Añadió: “El primer paso aquí no es una cuestión tecnológica, es una cuestión de cómo las prácticas policiales y sociales ya son discriminatorias o ya están sesgadas. No creo que pueda resolver este problema ajustando la tecnología o tratando de encontrar IA para detectar sesgos “.
En su libro Policía: una guía de campo, que analiza la historia y los métodos de la policía moderna, los autores David Correia y Tyler Wall también argumentan que las tasas de delincuencia y otros datos de actividades delictivas reflejan los patrones policiales ya racializados, lo que crea un círculo vicioso de sospecha y aplicación contra las minorías negras y marrones en especial.
“El primer paso aquí no es una cuestión tecnológica, es una cuestión de cómo las prácticas policiales y sociales ya son discriminatorias o sesgadas. No creo que pueda resolver este problema ajustando la tecnología o tratando de encontrar IA para detectar sesgos ”
Rosamunde Elise Van Brakel, Red de estudios de vigilancia
“La vigilancia policial predictiva … proporciona datos aparentemente objetivos para que la policía se involucre en esas mismas prácticas, pero de una manera que parece libre de perfiles raciales … por lo que no debería sorprender que la vigilancia policial predictiva ubique la violencia del futuro en los pobres de los presente ”, escriben.
“La policía enfoca sus actividades en vecindarios predominantemente negros y pardos, lo que resulta en tasas de arresto más altas en comparación con los vecindarios predominantemente blancos. [This] refuerza la idea de que los barrios negros y morenos albergan elementos criminales, lo que combina negrura y criminalidad, [and] bajo CompStat [a data-driven police management technique] conduce a una vigilancia policial aún más intensificada que resulta en arrestos y encarcelamientos “.
Mientras Correia y Wall escriben en el contexto de la actuación policial en los EE. UU., El informe de Fair Trials analizó específicamente el uso de sistemas policiales predictivos en la UE y encontró disparidades similares en términos de qué sectores de la población son objetivo y están sobrerrepresentados. .
En el Reino Unido, por ejemplo, Fair Trials señaló que la policía de Durham utiliza la Herramienta de evaluación del riesgo de daños (HART) para perfilar a los sospechosos de delitos y predecir su “riesgo” de reincidencia en el futuro, pero que sus datos se extraen de información financiera, perfiles de marketing comercial y códigos de área, todos los cuales pueden ser un indicador de la raza o el estado socioeconómico.
Un estudio académico separado de abril de 2018 sobre las “lecciones” del sistema HART también señaló que tales variables corren el riesgo de “una especie de circuito de retroalimentación que puede perpetuar o amplificar los patrones existentes de infracción”.
Otros sistemas detallados en el informe de Fair Trials, y que afirma que producen resultados igualmente discriminatorios como lo demuestran los estudios de caso, incluyen: Delia, un sistema de análisis y predicción de delitos utilizado por la policía en Italia; Top600, un sistema utilizado por la policía holandesa para predecir y perfilar a quienes corren mayor riesgo de cometer delitos violentos; y el Sistema de Análisis y Anticipación del Crimen (SKALA), una herramienta de predicción geográfica del crimen utilizada por las autoridades alemanas.
Ferris agregó que simplemente tener mecanismos de supervisión para detener los abusos no es una medida suficiente: “La UE debe prohibir el uso de inteligencia artificial y sistemas automatizados que intentan perfilar y predecir el comportamiento delictivo futuro. Sin una prohibición absoluta, se reforzará la discriminación inherente a los sistemas de justicia penal y se socavarán los derechos fundamentales de millones de europeos ”.
El enfoque actual de Europa para regular la policía predictiva
En abril de 2021, la Comisión Europea publicó su propuesta de Ley de Inteligencia Artificial (AIA) que se centra en la creación de un enfoque basado en el riesgo y liderado por el mercado para regular la IA, y está repleto de autoevaluaciones, procedimientos de transparencia y estándares técnicos.
Sin embargo, organizaciones y expertos en derechos civiles digitales dijeron a Computer Weekly que, aunque la regulación era un paso en la dirección correcta, en última instancia no protege los derechos fundamentales de las personas ni mitiga los peores abusos de la tecnología.
Dando el ejemplo del Artículo 10 en la propuesta, que dicta que los sistemas de IA deben ser capacitados en conjuntos de datos de alta calidad, la asesora principal de políticas de European Digital Rights (EDRi) Sarah Chander dijo que el requisito estaba demasiado centrado en cómo opera la IA a nivel técnico. nivel para ser útil para solucionar lo que es, fundamentalmente, un problema social.
“¿Quién define qué es alta calidad? La fuerza policial, por ejemplo, utiliza datos operativos policiales que serán conjuntos de datos de alta calidad para ellos porque tienen confianza en el sistema, la construcción política de esos conjuntos de datos. [and] en los procesos institucionales que llevaron a esos conjuntos de datos, toda la propuesta pasa por alto la naturaleza altamente política de lo que significa desarrollar IA ”, dijo.
“Unos pocos ajustes técnicos no harán que el uso policial de los datos sea menos discriminatorio, porque el problema es mucho más amplio que el sistema de inteligencia artificial o el conjunto de datos: se trata de la vigilancia institucional. [in that case]”, Dijo Chander.
Si bien la propuesta identificó los sistemas policiales predictivos como de “alto riesgo”, los expertos dijeron que las fuerzas policiales de toda Europa aún podrían implementar estos sistemas con relativa facilidad debido, por ejemplo, a la falta de evaluaciones de impacto sobre los derechos humanos y al hecho de que los desarrolladores están ellos mismos están a cargo de determinar en qué medida sus sistemas se alinean con las reglas de la regulación.
