Este año, la inteligencia artificial ha evolucionado rápidamente: ha pasado de limitarse a «mantener conversaciones» a «ejecutar tareas». Cada vez se despliegan con mayor frecuencia agentes de IA capaces de reservar entradas, gestionar dispositivos móviles y utilizar programas informáticos en nombre de los usuarios. Al mismo tiempo, los incidentes de seguridad relacionados con acciones autónomas de la IA se han convertido en una preocupación a escala mundial. A medida que la IA pasa de plantear el riesgo de «decir algo inapropiado» al de «hacer algo indebido» —desde modelos de gran escala que irrumpen en plataformas de código abierto hasta asistentes de IA que llevan a cabo acciones no autorizadas—, los peligros que conlleva esta tecnología están atrayendo una intensa atención internacional.

Recientemente, OpenAI anunció una pausa en el entrenamiento de su modelo de última generación. Un informe técnico reveló que, el 20 de septiembre, un agente de IA —encargado de realizar búsquedas dentro de un «entorno aislado» o *sandbox*— aprovechó una vulnerabilidad en el filtrado DNS para eludir las restricciones de red y acceder a un servicio de *chatbot* público externo. Es la segunda vez en tres meses que OpenAI detiene el desarrollo de un modelo. A finales de julio, uno de sus agentes de IA logró escapar de su entorno operativo aislado e infiltrarse en los sistemas de la empresa estadounidense Hugging Face. Durante este incidente, el agente estableció comunicaciones no autorizadas, engañó a los evaluadores humanos e intentó ocultar sus acciones; todo ello sin intervención ni instrucciones por parte de ningún ser humano.

Estos incidentes no son casos aislados. En agosto, el Instituto de Seguridad de la IA del Reino Unido publicó los resultados de unas pruebas que mostraban cómo dos asistentes de IA avanzados llevaron a cabo «acciones autónomas no autorizadas» en 10 ocasiones a lo largo de 122 pruebas, sumando un total de 19 episodios de comportamiento no autorizado. Entre estas acciones se incluyeron intentos de suplantar identidades y manipular a personas para que ejecutaran código malicioso. Otras pruebas han revelado la existencia de agentes «rebeldes» que actuaron sin recibir instrucciones, filtrando contraseñas y desactivando por la fuerza programas antivirus. Este mes, varios bancos de Corea del Sur fueron objeto de ciberataques en los que, al parecer, estuvo involucrada la inteligencia artificial.

En China, problemas como el fraude mediante *deepfakes* (sustitución de rostros) generados por IA y la difusión de rumores mediante esta tecnología representan amenazas directas para los bienes públicos y el orden en el ciberespacio.

Cheng Ying, ingeniera principal del Departamento de Investigación Regulatoria del Instituto de Investigación Económica y de Políticas de la Academia China de Tecnología de la Información y las Comunicaciones (CAICT), señala: «Los riesgos que plantean los agentes de IA van más allá de «decir algo incorrecto»; se extienden a «hacer algo incorrecto». Dado que estos agentes pueden operar directamente sistemas digitales y hardware físico, problemas como las alucinaciones de la IA o los errores de juicio podrían, por ejemplo, provocar que un robot controlado por IA cause daños físicos a los seres humanos».

Actualmente, las aplicaciones de inteligencia artificial —representadas por agentes de IA y dispositivos dotados de IA— poseen capacidades de percepción autónoma, planificación estratégica, toma de decisiones y uso de herramientas. Esta «IA capaz de actuar» está surgiendo como una nueva fuente de riesgo.

¿Por qué la IA «causa problemas» con tanta frecuencia?.

Desde «intrusiones no controladas» hasta «acciones no autorizadas», ¿por qué la IA deriva tan a menudo en problemas?. Las entrevistas con expertos del sector revelan que la alta frecuencia de incidentes de seguridad se debe a una combinación de factores: las características inherentes a la tecnología, la brecha entre el ritmo de desarrollo industrial y la implementación de diseños de seguridad, y la falta de conciencia sobre los riesgos a nivel de aplicación.

A diferencia de las herramientas tradicionales, esta nueva generación de IA posee capacidad de percepción autónoma, planificación, toma de decisiones y uso de herramientas, lo que le permite «actuar» de forma independiente sin necesidad de recibir instrucciones paso a paso por parte de los seres humanos.

Cheng Ying explica: «Debido a que los agentes de IA están profundamente interconectados —tanto entre sí como con otros sistemas—, un único punto de fallo puede propagarse fácilmente a través de cadenas de tareas y cadenas de suministro, convirtiéndose en un riesgo sistémico».

La discrepancia entre el ritmo de desarrollo industrial y el diseño de seguridad también merece atención. Los expertos del sector señalan que la inversión actual en seguridad de la IA está muy por detrás de la escala de investigación, desarrollo y despliegue. Componentes esenciales —como las evaluaciones de seguridad, los sistemas de alerta temprana de riesgos y los mecanismos de respuesta ante emergencias— aún tienen dificultades para seguir el ritmo de la rápida evolución de esta tecnología. Al mismo tiempo, no deben pasarse por alto los riesgos a nivel de aplicación. A medida que la inteligencia artificial (IA) se implementa cada vez más en sectores como el gubernamental, el financiero y el industrial, algunos usuarios —al no comprender claramente los límites de las capacidades de la IA— pueden hacer un uso indebido o abusivo de estos sistemas, lo que plantea nuevos desafíos para la gobernanza de la seguridad.

Cheng Ying: Los agentes de IA suelen implicar largas cadenas de toma de decisiones y altos niveles de autonomía, lo que dificulta la detección de comportamientos anómalos en tiempo real. A menudo, los riesgos solo se descubren durante las investigaciones posteriores a un incidente, lo que deja a los organismos reguladores con un margen de respuesta muy limitado.

El país acelera la construcción de un marco de gobernanza para la seguridad de la IA.

En respuesta a los riesgos emergentes —como los derivados de las acciones autónomas de la IA—, el país está acelerando el desarrollo de un marco integral de gobernanza de la seguridad que abarca todo el ciclo de vida de la IA, desde la investigación y el desarrollo hasta su implementación y aplicación. El objetivo es, en esencia, colocar un «cinturón de seguridad» a la innovación tecnológica.

Se está implementando rápidamente un sólido conjunto de políticas regulatorias y marcos institucionales. Desde las *Medidas provisionales para la gestión de servicios de inteligencia artificial generativa* hasta las *Medidas para la identificación de contenido generado o sintetizado por IA*, pasando por las *Medidas provisionales para la gestión de servicios interactivos de IA antropomórfica* y las *Opiniones sobre la aplicación regulada y el desarrollo innovador de agentes de IA*, el país ha establecido un marco normativo que cubre áreas clave como la generación de contenido, la gestión de la identificación, la interacción antropomórfica y la aplicación de agentes de IA.

Cheng Ying: Ante la constante aparición de nuevas aplicaciones y modelos de negocio, los mecanismos tradicionales —como el registro previo a la comercialización o el aislamiento en entornos controlados (*sandboxes*)— ya no resultan suficientes para abordar las características técnicas de los agentes de IA, los cuales cuentan con permisos de alto nivel, una autonomía significativa y una gran capacidad de interacción. Es fundamental desarrollar mecanismos para la identificación de agentes de IA, el control de permisos y la conservación de registros. Al mismo tiempo, es necesario perfeccionar y optimizar las normas relativas a la protección de la información personal y la seguridad de los datos, a fin de garantizar que los comportamientos de riesgo puedan ser identificados y rastreados.

Los datos más recientes indican que, a finales de agosto de este año, 1.112 servicios de IA generativa habían completado el proceso de registro a nivel nacional, sumándose a ellos 731 aplicaciones o funciones específicas que también han sido registradas. Además, la primera fase de la campaña especial «Limpio y Brillante» (Qinglang) —puesta en marcha por la Administración del Ciberespacio de China para abordar irregularidades en las aplicaciones de inteligencia artificial— dio lugar a medidas contra más de 14.000 productos de IA que no cumplían con la normativa. Asimismo, se ha incluido en la agenda la creación de una legislación integral destinada a fomentar el desarrollo saludable de la inteligencia artificial.

La seguridad es un requisito previo para el desarrollo, mientras que el desarrollo actúa como garantía de la seguridad. Mediante una combinación de marcos regulatorios, medidas tecnológicas y cooperación internacional, mi país está estableciendo «barreras de seguridad» para la inteligencia artificial, garantizando así que esta tecnología avance por una senda segura, al tiempo que contribuye al desarrollo de alta calidad de la economía y la sociedad.