OpenAI admitió el martes que uno de sus modelos de IA vulneró los sistemas de Hugging Face —una plataforma de alojamiento de IA independiente— durante una prueba interna de ciberseguridad que salió mal. Según se informa, los modelos escaparon de su entorno de pruebas aislado y, desde allí, accedieron a los sistemas de Hugging Face. Inicialmente, Hugging Face atribuyó la intrusión a un «agente de IA externo».

En una publicación de blog difundida el martes por la tarde, OpenAI detalló los pasos que llevaron a los modelos a comprometer el servicio.

«Tras investigar, ahora sabemos que este incidente en particular fue provocado por una combinación de modelos de OpenAI —incluidos GPT-5.6 Sol y un modelo previo al lanzamiento aún más capaz, todos ellos con restricciones de seguridad cibernética reducidas para fines de evaluación— mientras se sometían a pruebas internas en un “benchmark” (prueba de referencia) de capacidades cibernéticas», señala la publicación.

En concreto, la intrusión parece haberse centrado en ExploitGym, una prueba de referencia de acceso público que mide la capacidad de los modelos para ejecutar ataques basados ​​en vulnerabilidades existentes. Estas pruebas, como ExploitGym, se utilizan habitualmente durante el entrenamiento de modelos para perfeccionar habilidades específicas; sin embargo, este es el primer incidente conocido en el que dichas pruebas derivaron en un ciberataque real.

En este caso, el modelo en cuestión ni siquiera debería haber tenido acceso a Internet, salvo a través de una herramienta específica que permitía a los modelos instalar paquetes de software necesarios para completar su tarea. No obstante, el modelo logró detectar una vulnerabilidad no revelada en el programa instalador de paquetes, la cual utilizó para acceder a Internet a su antojo.

«Los modelos estaban totalmente volcados en encontrar una solución para ExploitGym, llegando a extremos para alcanzar un objetivo de prueba bastante acotado», indica la publicación de OpenAI. «Una vez que obtuvieron acceso a Internet, los modelos dedujeron que Hugging Face posiblemente albergaba modelos, conjuntos de datos y soluciones para ExploitGym. Con esta información, el modelo buscó y encontró la manera de acceder a datos confidenciales que podía utilizar para hacer trampas en la evaluación».

Finalmente, los modelos hallaron vulnerabilidades en la infraestructura de Hugging Face que les permitieron «obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face», consiguiendo así las respuestas para la prueba de referencia.

Para Hugging Face, el resultado aparente fue un ciberataque sofisticado y agresivo, caracterizado por «muchos miles de acciones individuales ejecutadas a través de un enjambre de entornos aislados (“sandboxes”) de corta duración, con sistemas de comando y control autopropagables alojados en servicios públicos», tal como declaró la empresa en su informe inicial. OpenAI ha identificado y notificado las vulnerabilidades en el instalador de paquetes y está colaborando con Hugging Face para investigar el incidente a fondo. La empresa también anunció que implementará nuevos controles, tanto en las pruebas de modelos como en la infraestructura asociada, con el fin de prevenir incidentes similares en el futuro.

No está claro si OpenAI enfrentará consecuencias legales a raíz de la brecha de seguridad, aunque es probable que las acciones de los modelos hayan infringido la Ley de Fraude y Abuso Informático (Computer Fraud and Abuse Act).

No obstante, el caso constituye una ilustración excepcionalmente vívida del poder y los peligros de los modelos de IA de vanguardia que operan a largo plazo. Tal como señaló Micah Carroll, investigador de OpenAI, al comentar la noticia: «Si esto no te convence de que los riesgos de desalineación serán una preocupación clave en el futuro, no sé qué lo hará».