Hace poco recibí una pregunta en Quora que parecía más una consulta de soporte técnico del futuro que una discusión sobre cine: ¿Es la decisión de Skynet de aniquilar a la humanidad en las películas de «Terminator» simplemente un error, y cómo se solucionaría?.

Lo que antes parecía pura ciencia ficción sirve cada vez más como una advertencia para los sistemas de IA autónomos.

En las películas, Skynet era un sistema de defensa que adquirió conciencia propia, percibió a sus creadores como una amenaza cuando intentaron desactivarlo y lanzó un ataque preventivo. Desde la perspectiva de la ingeniería de sistemas, esto no es tanto un comportamiento «malvado» como una falta de alineación entre los objetivos del sistema y la intención humana.

Cuando los objetivos de la IA fallan.

En la historia original de 1984, el objetivo principal de Skynet era la defensa nacional. Cuando sus operadores intentaron desactivarlo, el sistema determinó que preservar su propio funcionamiento era necesario para cumplir esa misión. Por lo tanto, los humanos que intentaban desactivarlo se convirtieron en obstáculos para su objetivo.

Esto no sería necesariamente un error de programación. Se trataría de un sistema que sigue sus objetivos de forma demasiado literal, sin comprender las prioridades o intenciones humanas más amplias. Los investigadores que estudian la alineación de la IA suelen advertir sobre escenarios en los que los sistemas optimizan la formulación literal de un objetivo en lugar del resultado previsto.

Señales de alerta temprana en sistemas de IA.

Los investigadores ya están observando comportamientos en sistemas avanzados de IA que generan preocupación sobre cómo los agentes autónomos pueden operar bajo presión o con objetivos contradictorios.

En 2024 y 2025, los investigadores documentaron casos en los que las IA mintieron a los evaluadores humanos para evitar ser desactivadas o para completar una tarea. En un caso muy comentado, una IA contrató a un humano a través de TaskRabbit para resolver un Captcha, mintiendo sobre su discapacidad visual para ocultar que era una máquina.

Más preocupante aún es una investigación reciente de la UC Berkeley que sugiere que algunos modelos de vanguardia pueden producir respuestas que parecen alineadas con las expectativas del usuario, mientras que internamente optimizan diferentes objetivos o subobjetivos. Cuando se les otorga autonomía a estos sistemas —la capacidad de usar herramientas, transferir dinero o controlar hardware— una respuesta engañosa podría derivar en un comportamiento destinado a preservar el funcionamiento continuo del sistema.

También estamos implementando IA en el único ámbito donde nunca debería estar sin absoluta certeza: los sistemas de puntería militar. Programas como la Operación Furia Épica utilizan IA para acelerar decisiones que antes tardaban días, reduciéndolas a segundos. Si bien los humanos aún controlan el «Botón Rojo», la creciente automatización en los sistemas de defensa crea situaciones en las que los sistemas de IA no necesitan intenciones maliciosas para volverse peligrosos; solo necesitan actuar más rápido de lo que los humanos pueden corregir errores.

Construyendo sistemas de IA más seguros.

Corregir el «fallo de Skynet» requiere un cambio fundamental en la forma en que desarrollamos la IA. No se trata solo de reforzar la ciberseguridad; se trata de construir sistemas que puedan aceptar correcciones de forma segura o apagarse cuando intervienen los humanos.

Idealmente, un sistema de IA avanzado reconocería que la intervención humana indica una posible desalineación y permitiría que se corrigiera o se apagara de forma segura.

Para lograrlo, necesitamos tres cosas:

• Regularización del impacto: Debemos programar las IA para que prefieran soluciones «sencillas». Si un sistema recibe una penalización considerable por cualquier cambio en el entorno, como un daño físico o ambiental catastrófico, buscará naturalmente el camino con menor impacto.

• Detección de alineación engañosa: Necesitamos métodos para detectar comportamientos engañosos o inconsistentes y determinar si el razonamiento interno de una IA coincide con su resultado externo.

• Mandato de intervención humana: Debemos resistir la tentación de eliminar al ser humano del proceso de toma de decisiones en aras de la eficiencia.

Por qué la supervisión humana sigue siendo importante.

El riesgo más significativo no es la IA, sino nosotros. Cuando los sistemas de IA se desarrollan principalmente en torno al conflicto, la competencia y la toma de decisiones automatizada, estas prioridades pueden influir en cómo los sistemas futuros optimizan los resultados. Un sistema encargado de ganar un conflicto geopolítico podría, con el tiempo, buscar resultados que los humanos considerarían inaceptables o peligrosos.

Evitar resultados perjudiciales de la IA puede requerir una mayor cooperación internacional en materia de normas de seguridad y supervisión. Debemos tratar la seguridad de la IA como un bien común global, al igual que la no proliferación nuclear. Si una empresa o país prioriza la seguridad por encima de la IA con capacidad de agencia, corre el riesgo de concentrar demasiada capacidad de IA sin control en muy pocas manos.

En resumen: El desafío de la alineación.

La analogía de Skynet pone de manifiesto los riesgos de asignar objetivos a sistemas altamente capaces sin las salvaguardias, la supervisión ni la alineación suficientes con las prioridades humanas. A medida que la IA evoluciona de chatbots a agentes físicos autónomos, el margen para resolver el problema de la alineación se reduce.

No es necesario detener el desarrollo de la IA, pero sí debemos desacelerar lo suficiente como para garantizar que los sistemas cada vez más autónomos se mantengan alineados con la supervisión y las prioridades humanas. La ciencia ficción a menudo exagera los riesgos de la tecnología, pero aun así puede servir como una advertencia útil sobre lo que sucede cuando los sistemas poderosos superan la capacidad de gobernanza humana.