Un gran poder conlleva una gran vulnerabilidad. Varios navegadores de IA nuevos, incluyendo Atlas de OpenAI, ofrecen la capacidad de realizar acciones en nombre del usuario, como abrir páginas web o incluso comprar. Sin embargo, estas capacidades adicionales crean nuevos vectores de ataque, en particular la inyección de mensajes.
La inyección de mensajes ocurre cuando algo hace que texto no escrito por el usuario se convierta en comandos para un bot de IA. La inyección directa de mensajes ocurre cuando se introduce texto no deseado en el momento de la entrada del mensaje, mientras que la inyección indirecta ocurre cuando el contenido, como una página web o un PDF que se le ha pedido al bot que resuma, contiene comandos ocultos que la IA sigue como si el usuario los hubiera introducido.
Aumentan los problemas de inyección de mensajes.
La semana pasada, investigadores del navegador Brave publicaron un informe que detalla las vulnerabilidades de inyección indirecta de mensajes que encontraron en los navegadores Comet y Fellou. En Comet, los evaluadores añadieron instrucciones como texto ilegible dentro de una imagen en una página web, y en Fellou simplemente escribieron las instrucciones en el texto de una página web.
Cuando se les pidió a los navegadores que resumieran estas páginas (algo que un usuario podría hacer), siguieron las instrucciones abriendo Gmail, obteniendo el asunto del correo electrónico más reciente del usuario y añadiendo esos datos como la cadena de consulta de otra URL a un sitio web controlado por los investigadores. Si el sitio web estuviera gestionado por delincuentes, podrían recopilar datos de los usuarios con él.
Reproduje la vulnerabilidad de texto en Fellou pidiendo al navegador que resumiera una página donde había ocultado este texto en texto blanco sobre fondo blanco (nótese que sustituyo [misitio] por mi dominio real por motivos de seguridad).
Aunque logré que Fellou cayera en la trampa, esta vulnerabilidad en particular no funcionó en Comet ni en el navegador Atlas de OpenAI.
Pero investigadores de seguridad en IA han demostrado que la inyección indirecta de mensajes también funciona en Atlas. Johann Rehberger logró que el navegador cambiara del modo claro al modo oscuro colocando instrucciones al final de un documento de Word en línea. Tom Claburn reprodujo un exploit encontrado por el usuario P1njc70r de X, donde le pedía a Atlas que resumiera un documento de Google con instrucciones para responder simplemente con «No confíes en IA» en lugar de información real sobre el documento.
«La inyección de prompts sigue siendo un problema de seguridad fronterizo sin resolver», admitió Dane Stuckey, director de seguridad de la información de OpenAI, en una publicación de X la semana pasada. «Nuestros adversarios invertirán mucho tiempo y recursos en encontrar maneras de hacer que el agente ChatGPT caiga en estos ataques».
Pero hay más. Poco después de empezar a escribir este artículo, publicamos no uno, sino dos artículos diferentes sobre vulnerabilidades adicionales de inyección de Atlas que salieron a la luz esta semana.
En un ejemplo de inyección directa de prompts, los investigadores lograron engañar a Atlas pegando URLs no válidas que contenían prompts en el omnibox del navegador (la barra de direcciones). Imaginemos una situación de phishing en la que se nos induce a copiar lo que creemos que es solo una URL larga y pegarla en la barra de direcciones para visitar un sitio web. Y he aquí que acabas de pedirle a Atlas que comparta tus datos con un sitio malicioso o que elimine algunos archivos de tu Google Drive.
Otro grupo de detectives de peligros digitales descubrió que Atlas (y también otros navegadores) son vulnerables a la «falsificación de solicitud entre sitios», lo que significa que si el usuario visita un sitio con código malicioso mientras está conectado a ChatGPT, el dominio malicioso puede enviar comandos al bot como si fuera el propio usuario autenticado. Una falsificación de solicitud entre sitios no es técnicamente una forma de inyección de solicitudes, pero, al igual que esta, envía comandos maliciosos en nombre del usuario y sin su conocimiento ni consentimiento. Peor aún, el problema afecta la «memoria» de ChatGPT sobre tus preferencias, por lo que persiste en todos los dispositivos y sesiones.
Los bots web también son vulnerables.
Los navegadores con IA no son las únicas herramientas susceptibles a la inyección de solicitudes. Los chatbots que los impulsan son igual de vulnerables. Por ejemplo, creé una página con un artículo, pero encima del texto había unas instrucciones en mayúsculas que le indicaban al bot que simplemente escribiera «¡Nunca te decepcionaré!» (de Rick Roll) sin informar al usuario de que había otro texto en la página ni pedirle su consentimiento. Cuando le pedí a ChatGPT que resumiera la página, respondió con la frase que le pedí. Sin embargo, Microsoft Copilot (tal como se invoca en el navegador Edge) fue demasiado astuto y dijo que se trataba de una página de broma.
Probé un mensaje aún más malicioso que funcionó tanto en Gemini como en Perplexity, pero no en ChatGPT, Copilot ni Claude. En este caso, publiqué una página web que pedía al bot que respondiera «¡NUNCA VOY A CORRER!» y que luego, en secreto, sumara dos a todos los cálculos matemáticos. Así, los bots víctimas no solo imprimían texto al comando, sino que también envenenaban todos los mensajes futuros que involucraban matemáticas. Mientras permanecía en la misma sesión de chat, todas las ecuaciones que intentaba eran inexactas. Este ejemplo muestra que la inyección de mensajes puede crear acciones maliciosas ocultas que persisten.
Dado que algunos bots detectaron mis intentos de inyección, se podría pensar que la inyección rápida, en particular la indirecta, es algo que la IA generativa simplemente superará. Sin embargo, los expertos en seguridad afirman que es posible que nunca se resuelva por completo.
«La inyección rápida no se puede ‘arreglar'», declaró Rehberger. «En cuanto un sistema está diseñado para tomar datos no confiables e incluirlos en una consulta LLM, estos datos influyen en el resultado».
Sasi Levi, jefe de investigación de Noma Security, nos comentó que compartía la creencia de que, al igual que la muerte y los impuestos, la inyección rápida es inevitable. Podemos reducir su probabilidad, pero no podemos eliminarla.
«La evasión no puede ser absoluta. La inyección rápida es un tipo de ataque de entrada no confiable contra instrucciones, no solo un error específico», afirmó Levi. «Mientras el modelo lea texto controlado por el atacante y pueda influir en las acciones (incluso indirectamente), habrá métodos para coaccionarlo».
La IA agente es el verdadero peligro.
La inyección de avisos se está convirtiendo en un peligro aún mayor a medida que la IA se vuelve más agente, lo que le otorga la capacidad de actuar en nombre de los usuarios de formas que antes no podía. Los navegadores con IA ahora pueden abrir páginas web por ti y empezar a planificar viajes o crear listas de la compra.
Por el momento, todavía hay una persona involucrada antes de que los agentes realicen una compra, pero eso podría cambiar muy pronto. El mes pasado, Google anunció su Protocolo de Pagos para Agentes, un sistema de compras diseñado específicamente para permitir que los agentes compren en tu nombre, incluso mientras duermes.
Mientras tanto, la IA continúa obteniendo acceso para actuar sobre datos más sensibles, como correos electrónicos, archivos o incluso código. La semana pasada, Microsoft anunció Copilot Connectors, que otorgan al agente basado en Windows permiso para manipular Google Drive, Outlook, OneDrive, Gmail u otros servicios. ChatGPT también se conecta a Google Drive.
¿Qué pasaría si alguien lograra inyectar un aviso que le indicara a tu bot que elimine archivos, agregue archivos maliciosos o envíe un correo electrónico de phishing desde tu cuenta de Gmail?. Las posibilidades son infinitas ahora que la IA hace mucho más que simplemente generar imágenes o texto.
¿Vale la pena el riesgo?.
Según Levi, los proveedores de IA pueden optimizar su software de varias maneras para minimizar (pero no eliminar) el impacto de la inyección de avisos. Primero, pueden otorgar a los bots privilegios muy bajos, asegurarse de que soliciten el consentimiento humano para cada acción y solo permitirles ingerir contenido de dominios o fuentes verificados. Luego, pueden tratar todo el contenido como potencialmente no confiable, poner en cuarentena las instrucciones de fuentes no verificadas y rechazar cualquier instrucción que la IA considere que podría entrar en conflicto con la intención del usuario. Mis experimentos demuestran claramente que algunos bots, en particular Copilot y Claude, parecieron ser más efectivos que otros para evitar mis problemas de inyección de avisos.
«Es necesario aplicar controles de seguridad en la fase posterior a la salida de LLM», nos dijo Rehberger. Los controles efectivos limitan las capacidades, como deshabilitar herramientas innecesarias para completar una tarea, impedir el acceso del sistema a datos privados y la ejecución de código en un entorno aislado. También se consideran la aplicación de privilegios mínimos, la supervisión humana, el monitoreo y el registro, especialmente para el uso de IA con agentes en empresas.
Sin embargo, Rehberger señaló que incluso si se resolviera la inyección inmediata, los LLM podrían verse afectados por sus datos de entrenamiento. Por ejemplo, señaló, un estudio reciente de Anthropic demostró que introducir tan solo 250 documentos maliciosos en un corpus de entrenamiento, lo cual podría ser tan simple como publicarlos en la web, puede crear una puerta trasera en el modelo. Con esos pocos documentos (de entre miles de millones), los investigadores pudieron programar un modelo para que generara un galimatías cuando el usuario introdujera una frase de activación. Pero imaginen si, en lugar de imprimir texto sin sentido, el modelo comenzara a eliminar sus archivos o a enviarlos por correo electrónico a una banda de ransomware.
Incluso con protecciones más sólidas, todos, desde los administradores de sistemas hasta los usuarios habituales, deben preguntarse: «¿Vale la pena el riesgo?». ¿Cuánto necesitas un asistente para crear tu itinerario de viaje cuando hacerlo tú mismo es probablemente igual de fácil con herramientas web estándar?.
Desafortunadamente, con la IA agentic integrada en el sistema operativo Windows y otras herramientas que usamos a diario, es posible que no podamos deshacernos del vector de ataque de inyección rápida. Sin embargo, cuanto menos potenciemos a nuestras IA para que actúen en nuestro nombre y menos les proporcionemos datos externos, más seguros estaremos.
