No son solo recomendación de libros o películas: los algoritmos deciden todo el tiempo el tipo de interés que vas a pagar, que te llamen o no para hacer una entrevista de trabajo o, incluso, que aumenten o caigan las posibilidades de que cometas un delito.
Además, no solo replican, sino que amplifican los prejuicios de los ingenieros que los crean. El mismísimo cofundador de Apple, Steve Wozniak, denunció que la Apple Card le concedía a él una línea de crédito 10 veces superior a la de su mujer por culpa de las decisiones de un algoritmo. Este es una pequeña muestra de cómo los algoritmos te están gobernando sin que lo sepas.
Un algoritmo no es más que una secuencia finita de pasos en cada uno de los cuales se aplica mecánicamente una regla.que permite procesar una información o llevar a cabo una tarea. Un algoritmo puede ser básico pero los que hacen las empresas de tecnología son mucho más complicados. Facebook o Google han gastado miles de millones desarrollando los suyos para ordenar y distribuir las toneladas de información que alegremente les confìan sus usuarios día a día.
Los algoritmos actuales sacan la información de todas las pequeñas acciones que los usuarios hacen a cada momento. Consultar un artículo en Wikipedia o escribir un mensaje en Whatsapp genera un rastro que las compañías comparten entre sí para hacer negocio. Todo deja rastro, incluso el más ínfimo clic que haces. Una práctica habitual, además, es la de cruzar datos: en los registros públicos
Los datos en sí no son inherentemente discriminatorios. El problema surge de cómo se usan e interpretan, especialmente cuando caracterizan a una persona usando correlaciones o variables proxy: datos que de por sí no tienen gran interés, pero a partir de los cuales se pueden obtener otras que sí lo tienen. Lo que se escucha en YouTube o en Spotify puede determinar tu sexo o edad, o las cosas a las que le das el like pueden determinar tu posicionamiento ideológico o nivel económico.
Un estudio publicado en 2017 recogido por Bloomberg sostenía que Facebook había clasificado a algunos usuarios como homosexuales en función de las publicaciones a las que había dado like, incluso aunque no se hubiesen identificado abiertamente como tales.
¿Cuál es el problema? Lo que hace el sistema/algoritmo es agrupar palabras por temas y establecer relaciones ¿Y si la máquina dice al ver unos pantalones que el sujeto es un hombre? ¿Es que la mujer no puede llevar pantalones? No, pero el algoritmo intuye que es probable que sea un hombre porque es más probable estadísticamente que sea un hombre.
Son estas relaciones las que han llevado a un equipo de investigadores a concluir que un algoritmo usado para analizar los riesgos para la salud de millones de pacientes en EE UU discrimina sistemáticamente a la población negra, sin saber siquiera su raza.
¿Cómo establece la máquina estas relaciones proxy? Con datos y cuantos más mejor. Es la forma de la que se nutre el llamado aprendizaje automático (machine learning). La máquina pasa por un periodo de aprendizaje en el cual va ajustando los pesos de sus respuestas a lo que espera el validador.
"Es una red artificial para entender la estructura de una frase. La máquina se alimenta con un montón de textos que representan el lenguaje que se está estudiando", explica Álvaro Barbero, chief data scientist del Instituto de Ingeniería del Conocimiento. "El sistema aprende qué palabras están cercanas a otras y las convierte en números para que la máquina pueda entender el lenguaje. Se utiliza bastante porque es un sistema muy efectivo".
Asimismo, surge el problema de como corregir a una máquina que se ha alimentado de textos y que da por buenos los sesgos sexistas o racistas que hay en ellos. Si la máquina extrae conclusiones poco precisas de los datos puede llevar a conclusiones falsas. Es como un disparo: un milímetro de desviación de la mira puede resultar en varios metros de distancia respecto al objetivo.
El problema es tal (y puede ser peor) que existen unos principios básicos de responsabilidad algorímica. Está la configuración ética, por la que los creadores de los algoritmos deben ser conscientes de que existe una posibilidad de sesgo y en caso de que se produzca, erradicarlo.
El siguiente paso es la validación, que obliga a testearlos con pruebas experimentales y tests. Todos los datos usados, además deberían formar parte de un informe en el que se detalle su origen lo que se llama información pública, que ha de ser accesible y estar sujetos a auditorías externas. Es poco probable, sin embargo, que Facebook o Google estén dispuestos a abrir sus valiosísimos algoritmos.