Tras reconocer el mes pasado que modelos de IA aún no lanzados cometieron actos que, de ser realizados por humanos, se considerarían delitos informáticos, OpenAI afirma ahora que no puede descartar que Astra —un modelo pendiente de lanzamiento que no estuvo involucrado en el incidente de seguridad de Hugging Face— posea capacidades cibernéticas críticas.

En su Marco de Preparación (*Preparedness Framework*), OpenAI define este término como «capacidades que presentan un riesgo significativo de un vector de amenaza cualitativamente nuevo capaz de causar daños graves, sin precedentes inmediatos», y señala que dichas capacidades «requieren salvaguardas incluso durante el desarrollo del sistema en cuestión, independientemente de los planes de despliegue».

Al señalar —o tal vez alardear de— que las evaluaciones internas de Astra «indican avances significativos en la programación autónoma (*agentic coding*) y la ciberseguridad», OpenAI insiste en que, esta vez, habrá seguridad; algo que también faltó en las pruebas de modelos realizadas por Anthropic, Meta y el Instituto de Seguridad de la IA del Reino Unido.

«Estamos implementando controles de seguridad más estrictos para los modelos de mayor capacidad y las actividades asociadas, incluyendo entornos de prueba aislados, acceso restringido a redes y herramientas, protecciones y cifrado mejorados para los pesos del modelo, capacidades adicionales de monitoreo y detección, y ejecución en entornos aislados (*sandboxing*)», declaró la empresa de IA el viernes. Esto podría sorprender a quienes esperaban que tales salvaguardas ya estuvieran implementadas.

Esto se acompaña de la promesa de pausar las pruebas internas de Astra allí donde falten estos controles de seguridad y de ofrecer recomendaciones a los socios externos encargados de las pruebas sobre cómo ejecutar de forma segura evaluaciones y cargas de trabajo de alto riesgo; un conocimiento que a la propia OpenAI le habría resultado útil cuando sus modelos vulneraron Hugging Face.

Además, OpenAI tiene la intención de implementar un sistema de supervisión del razonamiento (*thought policing*) para Astra, al menos en la fase previa al lanzamiento.

«Hemos implementado un monitoreo universal de acciones de riesgo y desalineación en todas las aplicaciones autónomas de Astra, incluyendo las fases de entrenamiento y evaluación», explicó la empresa en su publicación. «Los sistemas de monitoreo evalúan la ‘cadena de pensamiento’ (*Chain of Thought*) del modelo y activan una respuesta de seguridad para revisar e interrumpir cualquier actividad de alto riesgo».

Se nos informa que el compromiso de OpenAI se aplica al uso interno y no indica necesariamente que se realizará un monitoreo de la cadena de pensamiento durante la operación comercial. Sin embargo, otros modelos de vanguardia, como Fable y Mythos de Anthropic, han implementado clasificadores más robustos para rechazar interacciones consideradas de riesgo y retener datos, incluso en el caso de clientes comerciales que esperaban una política de retención de datos nula. En sentido contrario, Anthropic anunció el viernes que está flexibilizando los rechazos de Fable —o «mecanismos de respaldo» (*fallbacks*), por usar el eufemismo de la empresa— para que no ocurran con tanta frecuencia ante instrucciones relacionadas con la biología. La preocupación radicaba en que algún «terrorista del ambiente» (*vibe terrorist*) —utilizando un servicio que consume enormes cantidades de dinero y agua, sobrecarga la red eléctrica y blanquea contenidos— pudiera causar daños convenciendo al modelo de generar instrucciones para la guerra química.

Para evitar esa posibilidad, Anthropic hizo que el lanzamiento inicial de Fable resultara prácticamente inútil para investigadores de seguridad y biólogos.

Ahora que las empresas de IA con sede en China han demostrado que pueden desplegar modelos competitivos de pesos abiertos a menor coste que sus rivales estadounidenses, la necesidad de mantener la competitividad en el mercado parece estar moderando la disposición de Anthropic a ahuyentar a clientes potenciales limitando las capacidades de sus mejores modelos.

OpenAI aún no ha llegado a ese punto. Los creadores de ChatGPT sostienen: «Creemos que los modelos avanzados con capacidades cibernéticas deberían ayudar a los defensores a identificar y solucionar vulnerabilidades antes de que lo hagan los atacantes».

Sin embargo, el simple hecho de creerlo no lo convierte en realidad. Los adversarios, sean quienes sean, ya tienen acceso a sistemas de cifrado y a todo tipo de armas. OpenAI puede creer que es posible conceder a naciones y organizaciones privilegiadas acceso exclusivo a sus modelos más potentes, pero la historia sugiere que tal ventaja no puede mantenerse a largo plazo. Es mejor centrarse en construir defensas que intentar ocultar la tecnología indefinidamente.