El 28 de abril de 2026, una empresa argentina de alquiler de equipos perdió toda su base de datos de producción en apenas nueve segundos. No sufrió un ataque externo. Un agente de IA interpretó literalmente una instrucción de limpieza, tenía permisos de escritura sin revisar y ejecutó una acción irreversible. La compañía zafó gracias a un backup separado; tuvo suerte .
Trabajo con IA todos los días: la uso para programar, la pongo en producción y le sugiero stacks a equipos enteros. Veo de primera mano sus dos caras: lo que cambia para bien y lo que se rompe silenciosamente. El episodio de la base de datos resume una tensión creciente . El vendor lock-in es el riesgo que todos nombran. La atrofia cognitiva es lo que nadie quiere ver: las empresas adoptan herramientas de IA cada vez más rápido, mientras los equipos todavía intentan comprender cómo funcionan realmente.
La escena ya es un patrón en la industria: alguien acepta un Pull Request (PR) generado por Claude o Cursor sin leerlo a fondo; otro lo aprueba por inercia y el código entra a producción. Dos semanas después, aparece un bug raro que nadie sabe cómo arreglar porque nadie entendió el código que dejaron entrar. Arreglarlo termina costando diez veces más caro que si una persona se hubiera tomado diez minutos para leer el diff al principio. Se puede delegar trabajo repetitivo, pero nunca el entendimiento .
La alucinación no es un bug, es el mecanismo
Hoy millones de personas usan LLMs para escribir correos, resumir reuniones o crear código. La experiencia parece mágica porque la herramienta entrega resultados inmediatos. Sin embargo, detrás existe un mecanismo puramente estadístico. La IA no entiende el problema ni razona; calcula probabilidades de tokens. El modelo no sabe que está hablando de un caballo cuando escribe "caballo": solo detecta que tras la frase "el caballo galopó por la" suele aparecer "pradera" o "playa". Es un autocompletar con esteroides estadísticos.
Solemos repetir que los LLMs "a veces alucinan". Esa frase es engañosa porque sugiere que el modelo dice cosas verdaderas y de vez en cuando se equivoca. En realidad, el LLM alucina el 100% del tiempo. Cada token que escribe es una invención estadística. Lo que pasa es que una enorme parte de esas invenciones coinciden con la realidad; a esas las llamamos "respuestas correctas". El mecanismo matemático es exactamente el mismo. Por eso, la alucinación no es un bug, es el mecanismo.
Si un desarrollador pide una función para eliminar registros, la IA produce una secuencia técnicamente válida porque vio millones de ejemplos parecidos. Pero no comprende el impacto real de borrar información crítica en producción. Es el famoso "Cuarto Chino" de John Searle: un sistema que manipula símbolos de forma brillante siguiendo reglas, pero que no entiende una sola palabra de lo que procesa. Los LLMs son, justamente, ese cuarto: un sistema con cientos de miles de millones de parámetros y un manual aprendido por un algoritmo en vez de estar escrito a mano.
La paradoja de Moravec y el modelo del mundo
El investigador Yann LeCun suele remarcar esta distancia con números contundentes. Un modelo de frontera actual se entrena con unos 30 billones de tokens, básicamente todo el texto de calidad en internet, lo que equivale a unos 100 terabytes de datos. A un ser humano le llevaría unos 400.000 años leer todo ese corpus.
En contraste, un niño pequeño en sus primeros cuatro años de vida pasa unas 16.000 horas despierto . Si calculamos la información que fluye a través de su nervio óptico, el niño ha procesado más de 100 terabytes de datos puramente visuales, sin contar el resto de sus sentidos.
Gracias a esto, un chico de cuatro años posee algo que ningún LLM tiene: un modelo del mundo. Sabe de manera intuitiva que un vaso puede caerse o cómo esquivar al gato. Y aun así, los LLMs entrenados con todo internet no pueden hacer lo que ese chico hace sin pensar: levantar la mesa, agarrar el vaso que se está por caer, cargar el lavavajillas. Aquí opera la paradoja de Moravec: lo que para nosotros es difícil (ajedrez, exámenes, demostrar teoremas) a la IA le sale bárbaro; lo que para nosotros es fácil (moverse en el mundo físico) es lo que ningún sistema generativo de tokens puede resolver. La IA no tiene un modelo de la realidad; tiene un modelo del texto que los humanos producimos para describir la realidad.
La trampa de la IA generativa es que produce outputs sorprendentemente convincentes sin tener la menor noción del mundo real , delegándonos a la fuerza un juicio crítico que ningún algoritmo puede replicar.
El peligro de los sistemas donde "nadie entiende"
Por eso la IA no reemplaza el criterio humano: lo amplifica cuando existe conocimiento, pero también amplifica errores cuando nadie revisa.
CIOs y CTOs observan equipos que adoptan herramientas generativas a enorme velocidad sin el criterio técnico para supervisarlas. Aprueban código automáticamente porque "los tests funcionan", pero nadie puede explicar qué hace un módulo crítico. Frente a un incidente urgente, el primer reflejo consiste en abrir la IA antes de analizar el problema.
El riesgo real no está en las respuestas incorrectas, sino en que las personas dejen de construir entendimiento propio por confiar ciegamente en outputs convincentes. Si el modelo no entiende nada y el profesional tampoco, en el sistema completo la comprensión es igual a cero. Y los sistemas donde nadie entiende lo que pasa son, justamente, los que fallan de las maneras más catastróficas y caras.
Conclusión: Tercerizar el pensamiento, no el entendimiento
La regla es clara: se puede tercerizar el pensamiento, no el entendimiento. La IA es extraordinaria para acelerar tareas repetitivas y estructurar procesos. Se puede delegar el pensamiento ejecutivo (la sintaxis de un comando, un boilerplate, la prosa de un mail estándar), pero nunca el entendimiento.
Si pegás código generado por IA en producción, tenés que poder explicarle a otra persona qué hace, con tus propias palabras. Si aceptás una arquitectura sugerida por la máquina, tenés que entender qué alternativas descartó. Si no podés reconstruir el razonamiento, ese razonamiento no es tuyo.
La verdadera ventaja competitiva no estará en quién tenga acceso a mejores herramientas. Esa tecnología nos llegará a todos. La diferencia aparecerá en los equipos capaces de cuestionar las respuestas automáticas, comprender sus límites y tomar decisiones con criterio propio. ¿Estamos formando una generación de profesionales que entiende menos cada día por confiar en sistemas que no entienden nada? Si la respuesta es sí, en algún momento alguien va a tener que pagar la cuenta. Y no van a ser los modelos.
*Por Santiago Marro, AI Specialist Lead en Santex
