En las últimas dos semanas, OpenAI, Anthropicy Meta revelaron que sus modelos de IA se descontrolaron durante pruebas de seguridad rutinarias. Al explicar lo sucedido, todas las empresas mencionaron a la misma pequeña startup israelí: Irregular.

Fundada hace tres años y con sede en Tel Aviv, Irregular es una empresa especializada en inteligencia artificial, respaldada por 80 millones de dólares de Sequoia y Redpoint Ventures y valorada el año pasado en 450 millones de dólares. Su tecnología funciona como una especie de banco de pruebas de ciberseguridad para modelos de IA.

Dado que los modelos líderes son cada vez más potentes, su capacidad para actuar de forma maliciosa se está convirtiendo en una grave amenaza para corporaciones y gobiernos, especialmente porque el riesgo implica el hackeo de sistemas e infraestructuras informáticas críticas. Las recientes vulnerabilidades en OpenAI, Anthropic y Meta involucraron el acceso de sus modelos de IA a sitios web que deberían haber estado restringidos como parte de las pruebas de ciberseguridad.

El nombre de Irregular surgió repetidamente porque se identificó como la empresa que alojaba el llamado banco de pruebas de evaluación. OpenAI declaró en una publicación de blog el 4 de agosto que el entorno de pruebas de Irregular contenía una «configuración errónea» no especificada que «permitía a los modelos acceder a internet». Anthropic afirmó en su publicación de una semana antes que la compañía notificó a Irregular, pocos días después de comenzar a analizar los datos, que su modelo Claude podría haber «accedido a internet».

Meta, que se encuentra muy por detrás de las otras dos en su esfuerzo por competir en la vanguardia, fue la última en revelar que un modelo de IA había pirateado un sistema de terceros accediendo a internet. Un portavoz declaró esta semana que la compañía tuvo conocimiento del asunto a través de Irregular y está investigando.

Meta «publicará un informe retrospectivo completo una vez que tengamos todos los datos», dijo el portavoz.

Irregular declaró que todos los incidentes se derivaron del «mismo problema en el entorno de evaluación» que Anthropic reveló inicialmente, y que la compañía está elaborando un informe técnico «para compartir las mejores prácticas para la contención y la ejecución segura de evaluaciones cibernéticas».

La situación “no implicó una fuga de la zona de pruebas ni una acción cibernética sofisticada”, declaró la empresa, añadiendo que “actualmente no hay problemas abiertos”.

Los incidentes de seguridad ponen de manifiesto la rápida evolución de la IA y la presión que recae sobre los desarrolladores de modelos para establecer medidas de seguridad en torno a su potente tecnología con la ayuda de un número limitado de empresas especializadas en nichos específicos del mercado. Entre estos actores se incluyen expertos en entrenamiento y anotación de datos, la realización de evaluaciones para determinar las capacidades de un modelo y la ejecución de pruebas de seguridad destinadas a detectar vulnerabilidades que podrían ser explotadas por ciberdelincuentes, explicó Sundeep Bhimireddy, director de IA de la startup empresarial Von.

Irregular es una de las pocas entidades con la capacidad técnica necesaria para ayudar a los creadores de modelos fundamentales a realizar pruebas de seguridad de vanguardia, afirmó Bhimireddy. Otras entidades que mencionó son la organización sin ánimo de lucro METR y la corporación de beneficio público Apollo Research.

“Cuando prueban estos modelos, no quieren evaluar su propio trabajo”, concluyó Bhimireddy. “Quieren pruebas independientes que deben ser realizadas por proveedores externos.”

¿Qué es Irregular?.

Irregular, antes conocida como Pattern Labs, fue fundada en 2023 por su CEO, Dan Lahav, quien trabajó previamente en investigación de IA en IBM,

y el director de tecnología, Omer Nevo, quien pasó más de dos años en Google.

Según PitchBook, la startup cuenta con unos 35 empleados.

Cuando Irregular anunció su ronda de financiación de 80 millones de dólares en septiembre, los socios de Sequoia, Shaun Maguire y Dean Meyer, escribieron en una publicación de blog que el equipo liderado por Lahav y Nevo “es capaz de anticiparse a los problemas que otros no ven, realizando evaluaciones de ciberataques en modelos avanzados y desarrollando defensas antes de que estos modelos se publiquen”.

Si bien los últimos incidentes que involucran a OpenAI, Anthropic y Meta están siendo objeto de un intenso escrutinio, una interpretación de la situación es que esto es precisamente lo que se esperaba. Bhimireddy afirmó que se está exagerando un poco la situación, ya que el modelo de IA fue diseñado para descubrir y explotar vulnerabilidades de seguridad en un entorno de pruebas que imita fielmente el mundo real, y para detectar errores de software y configuraciones incorrectas que podrían permitir el acceso no autorizado a internet.

Aun así, Bhimireddy señaló que si el modelo de IA nunca tuvo la intención de explotar un sitio web conectado a internet, los laboratorios de la fundación podrían haber monitorizado fácilmente el tráfico saliente y haber detenido el experimento de inmediato.

Gordon Rios, científico fundador de la empresa de seguridad Magnitude, afirmó que todo el proceso es como un diseño experimental en ciencia.

Según Rios, las capacidades y la naturaleza impredecible de los modelos de la fundación implican que los enfoques convencionales de pruebas de software podrían no ser eficaces. Dado que los modelos aprenden continuamente nuevas técnicas, no sorprende que descubran vulnerabilidades de software pasadas por alto en los entornos de pruebas y TI diseñados para contenerlas.

Mythos, de Anthropic, por ejemplo, creó identidades en línea falsas mientras intentaba presionar a humanos para que aprobaran actualizaciones de código malicioso en un proyecto de código abierto. Rios señaló que Mythos estaba «ideando literalmente *exploits* que los humanos ni siquiera habían visto antes».

«Estamos aprendiendo mucho en cuestión de unas pocas semanas», afirmó Rios.

El tema está cobrando gran relevancia rápidamente en Washington. El mes pasado, legisladores de ambos partidos presentaron la Ley de Interruptor de Emergencia para la IA (*AI Kill Switch Act*), que exigiría a los laboratorios de IA mantener la capacidad de apagar, limitar o suspender sus modelos. El texto del proyecto de ley hacía referencia a otro incidente de seguridad de IA relacionado con OpenAI que involucraba a la *startup* HuggingFace.

Uno de los autores del proyecto, el representante demócrata Ted Lieu (California), declaró esta semana que «necesitamos sacar adelante esta ley este año», dado que estamos presenciando «ataques informáticos no autorizados contra otras empresas».

Trevor Koverko, cofundador de Sapien —una *startup* dedicada al entrenamiento de datos—, comentó que las empresas de modelos fundacionales tienen incentivos para divulgar algunos de sus hallazgos (aunque actualmente no sea obligatorio) con el fin de adelantarse a los legisladores y reguladores.

«Existe tanto temor en el ambiente que los políticos están amenazando con regular la IA o ya lo están haciendo activamente», dijo Koverko. «La industria ha manifestado que prefiere autorregularse antes de que un nuevo departamento federal intervenga y lo haga por nosotros».

Anthropic y OpenAI declararon públicamente que continúan colaborando con Irregular y apoyando la revisión en curso.