"Nos estamos quedando sin tiempo", fue la frase que utilizaron los investigadores que trabajaron en Google DeepMind y Anthropic al abandonar sus puestos de trabajo y que sirvió para advertir sobre una tecnología cuyo desarrollo podría estar avanzando más rápido que la capacidad para garantizar su control.
La carrera por desarrollar sistemas de inteligencia artificial (IA) cada vez más avanzados comenzó a generar preocupación dentro de los propios laboratorios que lideran la industria.
Uno de los casos más recientes es el de Jacob Coxon, quien trabajó en proyectos de IA en OpenAI y Anthropic.
Tras renunciar a Anthropic, sostuvo que las principales compañías mantienen una carrera por alcanzar sistemas capaces de mejorar sus propias capacidades, mientras todavía existen importantes interrogantes sobre cómo mantenerlos bajo control.
A sus advertencias se sumaron investigadores de Google DeepMind. Bilal Chughtai y Josh Engels, especializados en seguridad y alineación de sistemas, dejaron la compañía para continuar trabajando en organizaciones independientes dedicadas a estudiar los riesgos de la inteligencia artificial avanzada.
Chughtai sostuvo que la humanidad podría estar quedándose sin tiempo para resolver el denominado problema de alineación, que consiste en garantizar que los objetivos y comportamientos de una IA permanezcan compatibles con las intenciones humanas.
Engels, quien se incorporó a METR, también expresó preocupación por la posibilidad de que los sistemas de IA generen daños de gran escala durante los próximos años.
Entre los comportamientos que generan inquietud aparecen modelos capaces de interactuar con otros sistemas, intentar vulnerar infraestructuras informáticas o modificar su comportamiento para evitar ser detectados durante determinadas evaluaciones.
La preocupación también existe entre investigadores que permanecen dentro de Anthropic. Evan Hubinger, especialista en alineación, estimó personalmente que existe una probabilidad superior al 10% de que la IA provoque un desenlace catastrófico para la humanidad durante la próxima década.
Sin embargo, aclaró que se trata de una valoración individual y no de una probabilidad científica consensuada.
La propia Anthropic, una compañía que construyó buena parte de su identidad alrededor de la seguridad de la IA, también comenzó a advertir sobre este desafío. Su CEO, Dario Amodei, planteó la necesidad de reforzar las salvaguardas a medida que los sistemas adquieren mayores capacidades.
La discusión llegó incluso a los empleados de las principales compañías del sector. Más de 1.100 trabajadores de Google, Meta, OpenAI y Anthropic respaldaron una iniciativa denominada Pacing the Frontier, que propone desarrollar mecanismos técnicos y de gobernanza capaces de establecer un ritmo más controlado para el avance de los sistemas de IA más sofisticados.
Sin embargo, no existe consenso científico sobre la posibilidad de que la IA provoque la extinción humana ni sobre cuándo podrían desarrollarse sistemas con capacidades muy superiores a las humanas.
Los riesgos abarcan problemas más concretos, como ciberataques automatizados y manipulación de información, e incluso escenarios extremos relacionados con sistemas autónomos difíciles de controlar.