En la base de datos nacional miles de entradas detallan los nombres, cumpleaños e identificaciones nacionales de personas sospechosas de delitos. La base de datos, conocida como Consulta Nacional de Rebeldías y Capturas (CONARC), se inició en 2009 como parte de un esfuerzo por mejorar la aplicación de la ley en delitos graves.
Pero hay varias cosas preocupantes sobre CONARC. Por un lado, es una hoja de cálculo de texto sin formato y sin protección por contraseña, que cualquier persona puede encontrar fácilmente a través de la Búsqueda de Google y descargarla. Por otro lado, muchos de los presuntos delitos, como robos menores, no son tan graves, mientras que otros no se especifican en absoluto.
Lo más alarmante, sin embargo, es la edad del presunto delincuente más joven, identificado solo como M.G., que es citado por "delitos contra las personas y lesiones graves". M.G. aparentemente nació el 17 de octubre de 2016, lo que significa que le falta una semana para cumplir los cuatro años.
Ahora, una nueva investigación de Human Rights Watch descubrió que no solo se agregan niños regularmente a la CONARC, sino que la base de datos también alimenta un sistema de reconocimiento facial en vivo en Buenos Aires implementado por el Gobierno de la Ciudad. Esto hace que el sistema sea probablemente la primera instancia conocida de este tipo que se utiliza para perseguir a niños sospechosos de actividades delictivas.
"Es completamente indignante", dice Hye Jung Han, defensora de los derechos del niño en Human Rights Watch, quien dirigió la investigación.
Buenos Aires comenzó a probar el reconocimiento facial en vivo el 24 de abril de 2019. Implementado sin ninguna consulta pública, el sistema provocó una resistencia inmediata. En octubre, una organización nacional de derechos civiles presentó una demanda para impugnarlo. En respuesta, el gobierno redactó un nuevo proyecto de ley, ahora en proceso legislativo, que legalizaría el reconocimiento facial en espacios públicos.
El sistema fue diseñado para vincularse a CONARC desde el principio. Si bien la CONARC en sí no contiene ninguna foto de sus presuntos delincuentes, se combina con identificaciones con foto del registro nacional. El software utiliza fotos del rostro de los sospechosos para buscar coincidencias en tiempo real a través de las cámaras del subte de la ciudad. Una vez que el sistema marca a una persona, alerta a la policía para que realice un arresto.
Desde entonces, el sistema ha dado lugar a numerosas detenciones falsas, para los cuales la policía no tiene un protocolo establecido para su manejo. Un hombre que fue identificado por error fue detenido durante seis días y estaba a punto de ser trasladado a una prisión de máxima seguridad antes de que finalmente aclarara su identidad. A otro le dijeron que debía esperar que lo marcaran repetidamente en el futuro, aunque había demostrado que no era a quien buscaba la policía. Para ayudar a resolver la confusión, le dieron un pase para mostrárselo al siguiente oficial que podría detenerlo.
"Parece que no hay ningún mecanismo para poder corregir errores en el algoritmo o en la base de datos", dice Han. "Esa es una señal para nosotros de que aquí hay un gobierno que ha adquirido una tecnología que no comprende muy bien en términos de todas las implicaciones técnicas y de derechos humanos".
Aunque el gobierno ha negado públicamente que CONARC incluya a menores, Human Rights Watch encontró al menos 166 niños incluidos en varias versiones de la base de datos entre mayo de 2017 y mayo de 2020. A diferencia de M.G., la mayoría de ellos se identifican por su nombre completo, lo que es ilegal. Según el derecho internacional de los derechos humanos, los niños acusados de un delito deben tener protegida su privacidad durante todo el proceso.
También a diferencia de M.G., la mayoría tenía 16 o 17 años en el momento del ingreso a la base, aunque, misteriosamente, ha habido algunos de uno a tres años. Las edades no son los únicos errores aparentes en las entradas de los niños. Hay errores tipográficos flagrantes, detalles contradictorios y, a veces, varias identificaciones nacionales enumeradas para la misma persona. Debido a que los niños también cambian físicamente más rápido que los adultos, sus identificaciones con fotografía corren más riesgo de quedar desactualizadas.
Además de esto, los sistemas de reconocimiento facial, incluso en condiciones ideales de laboratorio, son notoriamente malos para manejar a los niños porque están entrenados y probados principalmente en adultos. El sistema de Buenos Aires no es diferente. Según documentos oficiales, se probó solo en rostros adultos de empleados del gobierno de la ciudad antes de la adquisición. Las pruebas anteriores del gobierno de EE.UU. del algoritmo específico que se cree que utiliza también sugieren que funciona seis veces peor en niños (10 a 16 años) que en adultos (24 a 40 años).
Todos estos factores ponen a los niños en mayor riesgo de ser identificados erróneamente y arrestados falsamente. Esto podría crear antecedentes penales injustificados, con repercusiones potencialmente duraderas para su educación y oportunidades laborales. También podría tener un impacto en su comportamiento.
"El argumento de que el reconocimiento facial produce un efecto escalofriante en la libertad de expresión se amplifica más para los niños", dice Han. "Uno puede imaginarse que un niño [que ha sido arrestado falsamente] debería ser extremadamente autocensurante o cuidadoso con su comportamiento en público. Y aún es pronto para intentar descubrir los impactos psicológicos a largo plazo, cómo podría moldear su visión del mundo y su mentalidad también ".
Si bien Buenos Aires es la primera ciudad que Han ha identificado utilizando el reconocimiento facial en vivo para rastrear a los niños, le preocupa que muchos otros ejemplos estén ocultos a la vista. En enero, Londres anunció que integraría el reconocimiento facial en vivo en sus operaciones policiales. En cuestión de días, Moscú dijo que había implementado un sistema similar en toda la ciudad.
Aunque todavía no se sabe si estos sistemas están tratando activamente de identificar a los niños, los niños ya se están viendo afectados. En el documental de 2020 Coded Bias, un niño es detenido falsamente por la policía de Londres después de que el reconocimiento facial en vivo lo confunde con otra persona. No está claro si la policía estaba buscando a un menor de edad o a alguien mayor.
Incluso aquellos que no están detenidos están perdiendo su derecho a la privacidad, dice Han: "Están todos los niños que pasan frente a una cámara con reconocimiento facial solo para acceder al sistema de subte".
A menudo, en los debates sobre estos sistemas, es fácil olvidar que los niños necesitan una consideración especial. Pero ese no es el único motivo de preocupación, añade Han. "El hecho de que estos niños estuvieran bajo ese tipo de vigilancia invasiva; aún se desconocen todos los derechos humanos y las implicaciones sociales de esta tecnología". Dicho de otra manera: lo que es malo para los niños es, en última instancia, malo para todos.
Traducción de un artículo de Karen Hao publicado en Technology Review