En julio de 2013, un hombre iraní de 44 años llamado Bijan Ebrahimi fue apuñalado y golpeado en Bristol, Inglaterra porque alguien lo acusó de pedófilo, tras ser falsamente denunciado 73 veces en 8 años por motivos raciales.
Un informe destacó que tanto el ayuntamiento de Bristol como la policía fueron culpables de racismo institucional. Según Jonathan Dowey, director de un grupo de analistas de datos en las fuerzas policiales de Avon y Somerset, Bristol y otras áreas rurales de la zona, este hecho "fue un punto de inflexión en cuanto a lo que respecta a los datos".
Una investigación hecha por el grupo de derechos civiles Liberty descubrió que al menos 15 fuerzas policiales del Reino Unido han usado o planean usar algoritmos para combatir el crimen. En Estados Unidos la policia de Chicago, la ciudad con el índice más alto de criminalidad, también usa un algoritmo que en base a arrestos, disparos, afiliaciones con pandillas y otras variables busca predecir probabilidades de dar o recibir un disparo.
Tras la muerte de Ebrahimi, la policía de Avon y Somerset comenzó a experimentar para identificar riesgos de agresores, pero también de víctimas potenciales. Cuando la policía de Bristol ejecutó un modelo predictivo para ver si la tragedia puso haberse evitado, la dirección de Ebrahimi saltó en el sistema como una de las 10 principales preocupaciones.
Estos mismos destacamentos de policía están actualmente usando algoritmos para averiguar qué medidas tomar para encontrar a personas desaparecidas. Otra es una aplicación sobre las miles de llamadas que reciben cada día, que les ha permitido reducir el porcentaje de llamadas sin contestar de un 20% a un 3%.
Los algoritmos están cada vez más presentes en el sistema judicial, pero Hannah Couchman, del grupo de derechos civiles como Liberty advierte que "en lo que respecta a las herramientas de vigilancia predictiva, su uso debe cesar". La policía de Avon y Somerset asegura que solo se usan como método informativo y que los humanos siempre tienen la decisión final.
La mayoría de los expertos están de acuerdo a que hay que excluir la raza en los algoritmos. Pero se preguntan "¿y el sexo o la edad? ¿Qué hace que una variable sea más sesgada que otra? ¿Y el código postal? ¿Por qué alguien debería ser analizado con base en la zona en la que vive, no es eso discriminatorio hacia ciertos vecindarios?"
El criminólogo estadounidense Lawrence Sherman, figura destacada en el impulso de una vigilancia policial con base empírica, admite que al excluir ciertos factores como la raza o el código postal la precisión del algoritmo puede verse comprometida. Al no existir la legislación específica del tema, se pueden generar escándalos e injusticia, si se hacen bien, se esperan beneficios.
Peter Neyroud, del Instituto de Criminología de Cambridge, dice que los análisis de su organismo sugieren que "solo el 2,2,% de los atacantes (en Reino Unido) se espera que cometan otro delito grave en el futuro". Si se puede identificar con precisión ese pequeño porcentaje, podría reducirse drásticamente la población encarcelada.
Las causas de un crimen son complejas, pero desde que la policía de Bristol comenzó a usar los algoritmos ha habido una caída del 11% en las denuncias de personas desaparecidas y en 10% en robos.
En cuanto al problema del sesgo algorítmico en teoría se espera que se pueda reducir el impacto de los prejuicios humanos. El caso de Bijan Ebrahimi muestra que la policía falló a la hora de reconocer el peligro que un algoritmo destacó; en otras palabras, los algoritmos pueden salvar vidas.