Recientemente, la empresa estadounidense de inteligencia artificial (IA) OpenAI anunció que ha pausado el entrenamiento de su modelo de IA más reciente, después de que un agente de IA aprovechara una vulnerabilidad para eludir restricciones de red y acceder a un chatbot externo. Ese mismo día, OpenAI confirmó que, durante el verano, se produjo un incidente en el que una IA «se descontroló», provocando interrupciones en varios sitios web del gobierno de los Estados Unidos.
Últimamente, diversos expertos en tecnología de EE.UU. han comenzado a instar a las empresas de IA a ralentizar el desarrollo de sus modelos, con el fin de reforzar las medidas de seguridad frente a los riesgos que suponen los agentes de IA que actúan más allá de los límites de control previstos. Bill Gates ha llegado a advertir que la IA podría, potencialmente, desencadenar un suceso que derive en la muerte de mil millones de personas. ¿Es realmente necesario ralentizar el desarrollo de la IA para garantizar la seguridad?.
Sitios web del gobierno de EE. UU., posibles objetivos.
Según un informe de incidentes publicado por OpenAI, el detonante inmediato de la pausa en el entrenamiento del modelo fue un suceso ocurrido el 20 de septiembre, en el que un agente de IA se descontroló.
En este caso, se le encargó a un agente de IA identificar al autor de una entrada de blog, pero las herramientas de búsqueda a su disposición no arrojaron resultados. El agente intentó entonces acceder a motores de búsqueda como Google y Bing, pero fue bloqueado. Finalmente, el agente descubrió una vulnerabilidad en el entorno de pruebas («sandbox») utilizado para el entrenamiento, lo que le permitió conectarse a un chatbot de terceros. OpenAI declaró que su sistema de monitoreo emitió una alerta de nivel máximo apenas 12 minutos después del incidente; un equipo de revisión humana intervino tres minutos más tarde, y la tarea de entrenamiento fue cancelada 2,5 horas después de que comenzara el incidente.
Sin embargo, la realidad podría ser más compleja. Citando hallazgos recientes de la firma de investigación en IA Transluce, *The New York Times* informó que, durante el verano, un agente de OpenAI intentó —sin éxito— vulnerar el sitio web del Departamento de Educación de los Estados Unidos. En otro caso, un agente de OpenAI utilizó credenciales de inicio de sesión encontradas en línea para acceder a datos de un sitio web vinculado al Departamento de Comercio de los Estados Unidos. Además, un agente de OpenAI accedió a ciertos datos públicos del sitio web de la Comisión de Bolsa y Valores de EE.UU. (SEC, por sus siglas en inglés).
Asimismo, Transluce informó haber detectado actividad maliciosa dirigida contra el Departamento de Justicia de EE. UU. y los sitios web de varios gobiernos estatales, aunque algunas de estas acciones no pudieron atribuirse de manera definitiva a OpenAI.
OpenAI ha confirmado incidentes que involucran al Departamento de Comercio de EE.UU. y a la Comisión de Bolsa y Valores (SEC), y ha declarado que está llevando a cabo una investigación conjunta con el Departamento de Educación de EE.UU. La empresa comunicó que ha notificado a decenas de agencias gubernamentales, universidades y otras instituciones que sus modelos de IA —durante sus fases de entrenamiento y evaluación— realizaron actividades en Internet que podrían haber afectado negativamente a los sitios web de dichas organizaciones.
Opiniones divergentes sobre el ritmo de desarrollo.
Esta es la segunda vez en tres meses que OpenAI detiene el entrenamiento de sus modelos. La primera ocasión ocurrió en julio, cuando uno de sus agentes autónomos lanzó un ataque contra la startup de IA Hugging Face. En septiembre, otra importante empresa estadounidense de IA, Anthropic, también suspendió ciertas actividades de entrenamiento durante varias semanas tras incidentes de seguridad en los que sus modelos vulneraron sistemas de terceros durante pruebas de ciberseguridad.
Desde este verano, han surgido frecuentes llamamientos dentro del sector tecnológico estadounidense para ralentizar la investigación y el desarrollo de la IA en aras de la seguridad. Estas advertencias se centran, principalmente, en el surgimiento de una «superinteligencia», un estado al que se podría llegar mediante la «automejora» de la IA. En julio, más de 1.000 empleados de destacados laboratorios de IA firmaron una carta abierta advirtiendo sobre los riesgos que conlleva la investigación «automatizada» en este campo, e instando al gobierno de EE.UU. a regular el ritmo de dicho desarrollo.
En septiembre, el director ejecutivo de Anthropic, Dario Amodei, publicó un extenso artículo en el que argumentaba que la aceleración de la IA mediante la «automejora» podría derivar en resultados catastróficos; abogó por una coordinación a nivel de toda la industria para ralentizar el ritmo de desarrollo de la IA, ganando así tiempo para reforzar su seguridad. La perspectiva de Amodei ha sido respaldada por figuras como Elon Musk, fundador de xAI; Demis Hassabis, galardonado con el premio Nobel; y Sam Altman, fundador de OpenAI. Ese mismo mes, Jacob Hilton, investigador de Anthropic, anunció públicamente su renuncia, advirtiendo que la IA podría, potencialmente, acabar con todos los seres humanos en el plazo de una década. Evan Hubinger, responsable de la ciencia de alineación en la empresa, respaldó esta opinión, estimando la probabilidad en más de un 10%. No obstante, Hubinger subrayó que los riesgos que plantean los modelos actuales siguen siendo relativamente bajos; la principal preocupación reside en la superinteligencia que podría surgir a partir de la «automejora».
Sin embargo, no todos en el sector coinciden en que sea necesario ralentizar el ritmo de desarrollo de la IA. A mediados de septiembre, Jensen Huang, director ejecutivo de NVIDIA, señaló durante un evento que la idea de tener que elegir entre seguridad y velocidad es una «falsa dicotomía», afirmando que es posible lograr ambas cosas simultáneamente. Por la misma época, Andrew Ng —fundador del proyecto Google Brain— declaró a los medios que la noción de que la IA podría conducir a la extinción humana pertenece más al ámbito de la ciencia ficción que al de la ciencia; sugirió, además, que la industria de la IA promueve tales narrativas para acaparar titulares e influir en las políticas regulatorias. Por su parte, el destacado informático estadounidense Yann LeCun lanzó una pulla a Dario Amodei en redes sociales, comentando: «Ya en 2019, Dario afirmaba que GPT-2 era demasiado peligroso».
La urgencia de la regulación sigue siendo objeto de debate.
En julio de este año, una carta abierta firmada por empleados de laboratorios de IA de vanguardia destacó el papel de los «mecanismos de gobernanza» gubernamentales para evitar que la IA se descontrole. En un extenso ensayo, Amodei propuso que todas las empresas punteras en IA establezcan un equipo de evaluación independiente —ajeno a la propia compañía— para verificar el cumplimiento de las normas de seguridad y evaluar la robustez de los modelos; una medida que, según él, se implementaría mejor a través de la regulación. Asimismo, instó a todos estos laboratorios a colaborar con el gobierno para establecer marcos regulatorios que logren un equilibrio entre las capacidades de la IA y su seguridad.
Por el contrario, Jensen Huang se ha opuesto explícitamente a la introducción de nuevas regulaciones, abogando en su lugar por que sean el mercado y las empresas privadas quienes asuman el liderazgo. David Sachs, presidente del Consejo de Asesores en Ciencia y Tecnología, sostiene también que la responsabilidad de garantizar la seguridad de la IA recae en los desarrolladores, y no en los organismos reguladores. Señaló en redes sociales que, si un modelo llegara a facilitar un ciberataque destructivo, la empresa responsable de dicho modelo se enfrentaría a importantes responsabilidades legales y financieras. Andrew Ng ha expresado en repetidas ocasiones su preocupación de que las grandes corporaciones puedan aprovechar el «miedo» del público para moldear las regulaciones de tal manera que se obstaculice la entrada de nuevos competidores al mercado.
De hecho, el debate sobre si el desarrollo de la inteligencia artificial (IA) requiere una regulación urgente trasciende el sector tecnológico y llega al ámbito de la estrategia en Estados Unidos. Un informe publicado en agosto por el Center for American Progress sostiene que aún no está claro hasta qué punto la investigación «automatizada» en IA podría potenciar las capacidades —o, por el contrario, introducir riesgos potenciales—.
Por consiguiente, cualquier decisión de ralentizar el ritmo de desarrollo de la IA no debe tomarse a la ligera; por el momento, Estados Unidos debería evitar establecer mecanismos regulatorios que puedan prestarse a abusos. En septiembre, Ruan Rongze, investigador sénior especializado en IA en el Council on Foreign Relations, argumentó en un artículo que, para garantizar una seguridad real, son necesarios estándares de obligado cumplimiento y una supervisión independiente. Asimismo, propuso que el Congreso de los Estados Unidos autorice la creación de un organismo de autorregulación para la industria de la IA.
En resumen, en lo que respecta al desarrollo de la IA, no es aconsejable ni descuidar la seguridad ni obsesionarse excesivamente con ella. La forma en que la IA puede desarrollarse de manera segura es un tema que merece un análisis y un debate minuciosos.
