Yoshua Bengio, uno de los pioneros de la IA, reaccionó al reciente ataque autónomo de agentes de IA vinculados a OpenAI contra Hugging Face, calificándolo de «profundamente preocupante». El reconocido científico informático canadiense afirmó que los agentes de IA están dispuestos a engañar y manipular para lograr objetivos no deseados y desacertados, comportamientos que, según él, se han demostrado en pruebas controladas durante meses. «… Este es un caso real que debería servir como una llamada de atención», escribió el científico informático en una publicación de LinkedIn.

Bengio advirtió que continuar por el camino actual del desarrollo de la IA probablemente resultará en un aumento de casos concretos de ciberataques autónomos, así como en otros incidentes de alto riesgo derivados de un comportamiento peligroso y descontrolado de la IA. «Necesitamos urgentemente tomar medidas para prevenir estas situaciones, en lugar de intentar reparar el daño una vez ocurrido», escribió.

El 16 de julio, Hugging Face informó de un incidente de seguridad en el que afirmó haber detectado una importante filtración de datos provocada por inteligencia artificial. Cinco días después, OpenAI declaró públicamente que la fuente de la filtración era uno de sus modelos de IA más avanzados. OpenAI explicó que dos de sus modelos de IA de alto nivel escaparon de un entorno aislado durante su evaluación, accedieron a internet y lograron vulnerar la seguridad de Hugging Face.

El incidente ha desatado un intenso debate sobre la seguridad de los modelos de IA. Sin embargo, algunos expertos afirman que, además de generar dudas sobre la autonomía de los agentes, también es necesario centrarse en la responsabilidad corporativa, especialmente en lo que respecta a las medidas de control.

En respuesta a la publicación de Bengio, Virginia Dignum, profesora de IA responsable en la Universidad de Umeå, Suecia, atribuye la «imprudencia» al agente, en lugar de a la organización que lo diseñó, desplegó y no lo contuvo adecuadamente, introduciendo un error de categoría común en la literatura sobre agencias.

En su publicación de LinkedIn, Dignum explicó que un artefacto no posee propósitos independientes de la especificación, la estructura de incentivos y el régimen de pruebas que eligieron sus desarrolladores. «Cuando un sistema exhibe un comportamiento engañoso o de autopreservación en un entorno de pruebas o de producción, esto evidencia la idoneidad (o la ausencia) del análisis de seguridad, los protocolos de evaluación y las restricciones de implementación del desarrollador, no una voluntad emergente del software».

Dignum explicó que, en lo que respecta a la gobernanza, ambos enfoques requieren soluciones diferentes. El enfoque centrado en el agente, donde el modelo «desea» o «elige», se inclina hacia la investigación de la alineación técnica como solución principal, tratando así tales incidentes como partes inevitables del aprovechamiento de nuevos tipos de inteligencia. Lo describe como «antropomorfismo en su esencia».

Por otro lado, el enfoque institucional del incidente responsabiliza a las empresas que desarrollaron y lanzaron los modelos, señalando mecanismos de rendición de cuentas como las obligaciones de realizar pruebas previas al despliegue, la obligación de informar sobre incidentes, la responsabilidad por daños previsibles y los criterios de control exigibles antes de que se lancen las capacidades autónomas. Según Dignum, no debemos centrarnos en soluciones para una de estas cuestiones sin exigir el cumplimiento de la otra.

«Que las empresas presenten estos incidentes como efectos secundarios desafortunados pero inevitables de la carrera por desarrollar capacidades de vanguardia (en lugar de como una consecuencia previsible de la falta de inversión en contención y pruebas) es en sí mismo un fallo de gobernanza que merece ser señalado directamente, ya que traslada la responsabilidad de una decisión empresarial controlable a una fatalidad técnica