Presentan un amparo contra el uso del reconocimiento facial en la Ciudad de Buenos Aires

En octubre del año pasado, la Legislatura porteña aprobó una nueva normativa sobre el sistema de cámaras de vigilancia en la Ciudad de Buenos Aires, incluida la reconocimiento facial. Sin embargo, hay organizaciones que se oponen a su uso: en todo el mundo, esta tecnología genera problemas, sospechas e incluso malas implementaciones que afectan los derechos de los ciudadanos.

Por esto, desde el Observatorio Argentino de Derecho Informático (ODIA), Una asociación civil sin fines de lucro realizó dos solicitudes de acceso a información pública para comprender cómo se aplica el sistema, pero dijeron que no recibieron respuesta. Por tal motivo, interpusieron acción de amparo “para detener el Sistema de Reconocimiento Facial Fugitivo de la Ciudad de Buenos Aires”, Que fue rechazada y posteriormente apelada.

“Quienes formamos parte de ODIA entendemos que es necesario un espacio de debate sobre los vínculos entre las personas y lo digital y Creemos que la ciudadanía no termina donde comienza una pantalla“, Plantea la organización”.

El sistema de reconocimiento facial es muy problemático. Si bien es una tecnología que tiene múltiples usos, es de una revolución tecnológica que ha generado problemas incluso en Argentina: en Bahía Blanca, en 2019, por poner solo un ejemplo, Detuvieron a un ciudadano durante una semana por un error.

Actualmente, la Ciudad usa el Sistema de Reconocimiento Facial Fugitivo (SRFP): “Es un software para reconocer rostros en las imágenes de las cámaras de video del sistema de videovigilancia de la Ciudad de Buenos Aires para localizar prófugos y rebeldes. Cuando se encuentra a una persona con orden de aprehensión en la vía pública, se envía una notificación al personal policial para que lo busquen y lo detengan ”, explica a Clarín Gonzalo De Vita, miembro del Observatorio Argentino de Derecho Informático.

Desde la organización abrieron un amicus curiae para poder participar en esta solicitud de información al gobierno de Buenos Aires.

Aquí, en detalle, los problemas que detectan, los riesgos potenciales y las presentaciones legales que realizaron para detener su uso.

─ ¿Qué problemas detectan en el sistema?

─Los problemas que detectamos son éticos, legales y técnicos, en primer lugar, bajo el eje ético, los sistemas de reconocimiento facial en todo el mundo, realizados por empresas de primer nivel como Amazon, Google, Microsoft, han sido reconocidos como sesgados bajo auditorías, produciendo un mayor número de errores hacia poblaciones minoritarias. En el caso de la Ciudad de Buenos Aires, no podemos saber si esto sucede ya que no se nos dio acceso a ella. Si el sistema detecta a una persona de forma incorrecta, debe retrasarse incluso cuando el error es evidente.

─Y desde el punto de vista técnico, ¿qué detectaron?

─A nivel técnico, pasando por alto los problemas relacionados con el uso de tecnologías oscuras y obsoletas, los sistemas informáticos requieren garantías de eficiencia, en particular los de inteligencia artificial necesitan una validación de sesgo. Cualquier sistema de este tipo debería tener una precisión mínima del 95%, pero con una regla rápida de 3 pudimos estimarlo en 53,87%. Sospechamos que podría ser incluso menor en poblaciones racializadas y / o minoritarias.

─ ¿Cómo funciona este reconocimiento facial?

El sistema trabaja con inteligencia artificial para encontrar y reconocer personas en imágenes y contrastarlas con rostros presentes en otra imagen. Estos sistemas tienen una fase de entrenamiento asistido donde se le presentan caras en diferentes condiciones de iluminación, ángulo, etc. y el sistema “adivinar” si la persona corresponde a una foto que ya has visto. Como explica Cathy O’Neil en su libro, Armas de Destrucción Matemática, la calidad de estos sistemas depende en gran medida de la calidad de su entrenamiento: una de nuestras preguntas fue sobre los datos de entrenamiento, pero la Ciudad de Buenos Aires declaró no saberlo. ya no. que estaba a cargo de una empresa privada.

─ ¿Y cómo se aplica?

─ Para la implementación se utiliza la base de datos de búsqueda de la Consulta Nacional de Rebeliones y Capturas (CoNaRC) con las imágenes del Registro Público de Personas (ReNaPer) y las cámaras de videovigilancia en la vía pública de la ciudad desde Buenos Aires.

Un sistema que no está del todo claro

No solo en Argentina, varias organizaciones se oponen a este sistema. A mediados del año pasado, por ejemplo, hubo un caso controvertido en los Estados Unidos: un afroamericano había sido arrestado por un error en un programa de reconocimiento facial, y esto reavivó las preocupaciones sobre los riesgos de sesgo en la inteligencia artificial. en medio de una ola de protestas contra el racismo y la violencia policial.

Incluso Amazon, que tiene el mejor sistema de reconocimiento facial del mundo (y lo subcontrata a otras empresas y estados), extendió la prohibición de su uso con fines policiales este año.

En general, las asociaciones tienden a indagar cómo se construyen e implementan estos sistemas, que no suelen ser del todo claros.

─ ¿Qué tan seguro es este sistema?

─La seguridad es clave en un sistema de esta naturaleza, porque los datos biométricos no son modificables y cualquier violación provocaría que otros sistemas que se basan en el reconocimiento facial, como las identificaciones de entidades bancarias, se vean comprometidos. Sin una auditoría exhaustiva de la implementación y con respuestas muy esquivas del GCBA Solo podemos adivinar el estado de seguridad del sistema, sin embargo algunos detalles técnicos, como el sistema de encriptación a utilizar, los cuales fueron reportados por el propio GCBA indican que la SRFP de Buenos Aires está utilizando tecnología declarada obsoleta hace años, esto contribuye a construir nuestro sospecha y la exigencia de una auditoría exhaustiva.

─ ¿En función de qué sistema operativo funciona?

─En este sentido, el prestador nunca ha presentado a la opinión pública las medidas de seguridad introducidas en el sistema ni los conjuntos de datos que utiliza para su formación, por lo tanto, no podemos saber cómo funciona.

─ “La mera existencia de este sistema afecta nuestros derechos”, dicen desde ODIA. ¿Por qué?

─ El derecho a la intimidad es una garantía constitucional. Ser monitoreado e identificado constantemente niega esta posibilidad. El artículo 18 de la Constitución Nacional indica que se debe seguir el “debido proceso” y que todos somos inocentes sin un juicio previo, este sistema juzga a todas las personas que simplemente transitan por la vía pública, desconociendo el juicio previo y que solo deben ser juzgados por ” Juez natural “. Este sistema no es un Juez y mucho menos es Natural.

Otro derecho existente es el de reunión. Al ser un sistema ubicuo en constante funcionamiento, cualquier persona debe sentirse observada y con ello su comportamiento afectado. Por ejemplo: un abogado con un cliente, una relación privilegiada en derecho y sostenido en el famoso caso Halabi. La privacidad debe estar garantizada en todo momento.

─ Hay un debate en torno a los “derechos vulnerados” y la “prevención de riesgos también. ¿Cómo es esto?

─Claro que uno de los problemas que se plantean respecto a este tipo de sistemas es el grado de proporcionalidad entre la invasión de privacidad que producen y los riesgos que se pretende paliar. En la mayoría de los casos, un elemento que se deja fuera de las discusiones es el que viene a pensar en lo que sucedería si esta tecnología se usara para otros fines. En este punto, las medidas de seguridad y el uso adecuado de esta tecnología son fundamentales para poder ponderar adecuadamente los riesgos implícitos en su uso. Desafortunadamente, estos aspectos de la SRFP no se han dado a conocer al público. A la fecha, la Ciudad cuenta con un sistema automatizado operando en sus calles, para lo cual existen pocas o ninguna garantía en cuanto a su seguridad interna y externa.

─ ¿Cuál es el amicus curiae que abrieron y de que se trata el amparo?

─El juez decidió otorgar a “todas aquellas personas que puedan tener interés en el resultado del litigio la posibilidad de integrar el proceso tanto como actores como como imputados”. Para eso publicó la convocatoria en medios oficiales como el Boletín Oficial. Desde el Observatorio Argentino de Derecho Informático, colaboramos con la difusión y solicitud de participación a la sociedad en general y a tomar conciencia de la seriedad que esto significa. El propio amparo presenta los problemas mencionados anteriormente y solicitamos que se desconecte el sistema.

SL