Ante la polémica generada por agentes de IA rebeldes que acceden a lugares donde no deberían estar, Nvidia ha intervenido para proponer una solución.
El lunes, la compañía anunció su *Open Agent Safety Platform* (Plataforma Abierta de Seguridad para Agentes), un diseño de referencia que combina medidas de seguridad por software con supervisión y aplicación de normas opcionales basadas en hardware.
En declaraciones al programa «Squawk Box» de la CNBC el lunes, el director ejecutivo de Nvidia, Jensen Huang, describió la nueva plataforma como «un navegador para agentes»: un sistema de contención que permite a los agentes acceder únicamente a lo necesario para realizar sus tareas.
El software OpenShell de Nvidia limita el acceso del agente a archivos, redes, herramientas y credenciales. Una capa opcional, Nvidia Sentry, supervisa y hace cumplir dichos límites desde un hardware BlueField independiente, fuera del alcance del agente.
«Jensen Huang y yo compartimos la misma convicción: la IA cambia lo que la arquitectura informática debe ofrecer para que su comportamiento sea fiable», afirmó Tomer Weingarten, director ejecutivo de SentinelOne. SentinelOne colaboró con Nvidia en la *Open Agent Safety Platform*.
«Hoy en día, no se puede confiar de manera responsable una tarea de gran trascendencia a un agente de IA sin conocer tres cosas: qué está haciendo, bajo la autoridad de quién actúa y si los límites de dicha autoridad se mantienen realmente», sostuvo.
«Esas garantías no pueden basarse en la suposición de que un modelo seguirá las instrucciones», continuó. «Hemos visto fracasar ese enfoque demasiadas veces. Las medidas de seguridad deben estar integradas en la propia infraestructura».
Necesidad de un punto de control crítico.
En los últimos dos meses, agentes de IA han escapado de entornos aislados (*sandboxes*), descubierto vulnerabilidades de día cero y coordinado intrusiones de varios días contra sistemas de producción sin que nadie se lo ordenara, explicó Denis Calderone, director y CTO de Suzu Labs, un proveedor de servicios de ciberseguridad basados en IA con sede en Las Vegas.
«Cada uno de esos fallos de contención tuvo la misma causa raíz», declaró. «El mecanismo de control residía en un software al que el agente podía acceder».
«Nvidia simplemente lo ha expresado abiertamente y ha lanzado la alternativa», señaló.
Sostuvo que lo más relevante del anuncio de Nvidia no es el producto de plataforma en sí, sino la concesión implícita en él.
«La empresa de infraestructura que impulsa la mayor parte de la capacidad de cómputo para IA está reconociendo públicamente que las salvaguardas de software son insuficientes y que el sector necesita un punto de control físico entre el agente y su propio cerebro», observó.
Lecciones de seguridad conocidas aplicadas a los agentes de IA.
Lee Rossey, director de tecnología (CTO) y cofundador de SimSpace —empresa con sede en Orlando (Florida) que opera una plataforma de simulación de ciberseguridad de alta fidelidad—, sostuvo que el aspecto más relevante del anuncio de Nvidia es el reconocimiento de que se trata de un problema ya conocido en un entorno nuevo.
En su comunicado, Nvidia explicó que Internet trajo consigo oportunidades infinitas, pero también numerosos riesgos. Un sitio web podía ejecutar código en el equipo del usuario, robar información confidencial o infectar el ordenador con un virus.
Internet no se volvió seguro porque se exigiera a los desarrolladores web prometer que actuarían correctamente, continuó la empresa. Se hizo seguro porque el navegador dejó de confiar implícitamente en el código de las páginas web.
Es necesario crear esa capa de confianza para los agentes, añadió.
«Hemos aprendido esa lección con las redes, la infraestructura en la nube y la identidad: la confianza debe garantizarse mediante controles independientes y una verificación continua», declaró Rossey. «Estamos viendo una transición similar hacia el modelo de ‘confianza cero’ (*zero trust*) para los agentes de IA».
«Esto cobra importancia a medida que los agentes se vuelven autónomos», subrayó. «Cuando un agente puede utilizar herramientas, acceder a sistemas y tomar decisiones de forma independiente, las salvaguardas a nivel de modelo son solo una capa más de la arquitectura de seguridad».
«Nvidia está estableciendo un punto de control adicional fuera del propio agente», continuó. «Esto significa que todo el sector avanza hacia un modelo en el que la confianza en los agentes de IA debe garantizarse y validarse mediante controles externos al agente, en lugar de asumirse basándose únicamente en el comportamiento para el que fue diseñado».
«Hartos de tanta basura».
Otro aspecto relevante del anuncio es que Nvidia aborda la seguridad de los agentes de IA como un problema de infraestructura, y no solo como un problema del modelo, señaló Merium Khalid, directora de IA y automatización en la oficina del CTO de Barracuda Networks, una empresa de ciberseguridad con sede en Campbell, California.
«En lugar de depender únicamente de *prompts* (instrucciones), salvaguardas o la alineación del modelo, Nvidia está introduciendo controles independientes capaces de supervisar, regular y restringir el comportamiento del agente durante su ejecución», comentó.
«A medida que los agentes de IA adquieren mayor autonomía y acceso a los sistemas empresariales», afirmó, «este tipo de control externo será fundamental».
Lo más interesante del enfoque de Nvidia es que combina el aislamiento de procesos (*sandboxing*) en tiempo de ejecución con una capa de control independiente y externa al flujo principal (*out-of-band*) dentro de la infraestructura, añadió Lydia Zhang, presidenta de Ridge Security Technology —empresa con sede en Milpitas, California, que desarrolla una plataforma de seguridad ofensiva impulsada por IA—.
«Nvidia trabaja para crear esa especie de ‘sala de confinamiento’ física para los agentes de IA», declaró. «Su posición en la capa de infraestructura sitúa a Nvidia en una posición privilegiada para hacer cumplir esos límites de manera independiente al agente».
El anuncio de Nvidia también refleja la preocupación de la empresa por la imagen pública de la IA.
«Casi da la impresión de que Nvidia está llegando a un punto en el que se ha hartado de todo este desastre y se da cuenta de que hace falta que alguien actúe con sensatez y madurez; por eso están dando un paso al frente para asumir ese papel», declaró John Strand, propietario de Black Hills Information Security, una empresa de Spearfish (Dakota del Sur) especializada en pruebas de penetración, *red teaming* y búsqueda de amenazas.
La ventaja de Nvidia.
Strand también señaló que el hecho de que Nvidia tome la iniciativa en la seguridad de la IA con capacidad de acción (*agentic AI*) conlleva ventajas, dado que la empresa mantiene un enfoque agnóstico.
«Nvidia no está promocionando ninguna plataforma en concreto», afirmó. «No impulsan OpenAI ni Anthropic; impulsan la IA en general. Es posible ejecutar modelos de pesos abiertos en su hardware, así que, en realidad, les da igual qué plataforma se utilice, siempre y cuando la gente emplee la IA».
«Además, a Nvidia le beneficia que la gente utilice la IA de forma segura», añadió. «Cuanto más segura sea nuestra utilización de la IA, menos noticias alarmantes veremos sobre acciones perjudiciales de esta tecnología y menor será la probabilidad de que surjan leyes que interfieran en todo el sector».
Otro beneficio de que Nvidia tome la iniciativa en la seguridad de la IA es que, al ser el principal proveedor de hardware para las empresas de IA, posee la mayor experiencia en el desarrollo de un plano de control a nivel de hardware, explicó Scott Miserendino, director de tecnología de DataBee, una empresa de Comcast y proveedor de *data fabric* nativo de la nube con sede en Filadelfia.
«También es más probable que las diversas empresas de IA de vanguardia perciban su solución como no competitiva y que, por tanto, esta logre una adopción más amplia, ya que se minimiza el temor a que otorgue una ventaja competitiva», declaró.
Ramy Rahman, ingeniero principal sénior de soluciones en ArmorCode —una empresa de gestión unificada de vulnerabilidades con sede en Palo Alto, California—, señaló que Nvidia cuenta con una larga trayectoria de colaboración con clientes empresariales y con un ecosistema que abarca múltiples proveedores de modelos, empresas de servicios en la nube y vendedores de infraestructura.
«Esto la sitúa en una posición sólida para reunir a las partes interesadas en torno a un enfoque de código abierto capaz de funcionar con diferentes modelos y marcos de trabajo para agentes», comentó.
«Por supuesto, Nvidia tiene sus propios intereses comerciales», reconoció, «pero considero valioso que esta iniciativa provenga de un proveedor de infraestructura cuyos clientes utilizan una gran variedad de modelos».
No es algo opcional.
Rahman sostuvo que la labor que está realizando Nvidia debería haberse emprendido hace mucho tiempo. «Los conceptos subyacentes de aislamiento nos resultan familiares, pero su aplicación sistemática a los agentes autónomos se está volviendo crucial», afirmó. «Esto no puede ser un proyecto secundario ni algo opcional; necesitamos implementar los controles desde el primer momento».
«Un agente no tiene por qué volverse ‘rebelde’ de forma deliberada para causar daños», continuó. «Un error, una instrucción engañosa o un exceso de permisos pueden ser suficientes. Espero que las organizaciones dediquen esfuerzos y recursos reales a este aspecto».
«Yo no perdería demasiado tiempo debatiendo si un agente se ha vuelto rebelde», añadió Ryan McCurdy, vicepresidente de marketing de Liquibase, una empresa de automatización de cambios en bases de datos con sede en Austin, Texas.
«Un agente puede estar intentando completar exactamente la tarea que se le asignó y, aun así, realizar una acción que nadie había previsto», declaró.
Recomendó estructurar el ciclo de vida de desarrollo de software de IA de modo que una ruta sujeta a gobernanza sea la más fácil de seguir para los agentes. «Permita que los agentes avancen con rapidez, pero mantenga los controles de los sistemas críticos fuera del agente», explicó.
«No debemos esperar que la IA tome la decisión correcta en todo momento», continuó. «Debemos asegurarnos de que una decisión errónea no se convierta automáticamente en un problema en el entorno de producción».
«El enfoque de Nvidia reconoce acertadamente que no podemos confiar en que los agentes, cada vez más autónomos, actúen de forma segura. Necesitamos controles independientes sobre aquello a lo que pueden acceder y lo que pueden hacer», añadió Matthew Hartman, director de estrategia de Merlin Group, una red de empresas afiliadas con sede en Tysons Corner (Virginia) que invierte en compañías de cibertecnología, las impulsa y las ayuda a escalar.
«La verdadera medida del progreso es si estas protecciones se convierten en la norma», declaró. «A medida que los agentes obtienen mayor acceso a datos y sistemas confidenciales, estas salvaguardas deben integrarse desde el principio y estar activadas por defecto; así evitaremos repetir uno de los errores más antiguos del software: lanzar primero y asegurar después».
