Si algo he aprendido tras décadas cubriendo el sector tecnológico, es que cuando hay miles de millones de dólares en juego, los intereses comerciales y estratégicos pueden imponerse a la cautela. Estamos presenciando una extraordinaria carrera armamentística tecnológica, y quienes la lideran parten de premisas muy distintas sobre cómo deben gestionarse los riesgos de la IA.
El debate actual ha dado lugar a dos enfoques contrapuestos. Por un lado, se encuentran líderes tecnológicos como Jensen Huang, CEO de Nvidia, quienes sostienen que la regulación debería centrarse en los daños demostrados y no en los hipotéticos. Por otro, hay ejecutivos del sector de la IA, investigadores y defensores de políticas públicas que reclaman salvaguardias más estrictas y, en algunos casos, un ritmo de desarrollo más lento.
Como analista de TI que observa esta evolución, considero que ambos enfoques presentan graves deficiencias. Esperar a que se produzcan daños constatados podría hacer que los reguladores reaccionaran demasiado tarde, mientras que una pausa internacional generalizada sería extraordinariamente difícil de aplicar. Lo que falta es un modelo regulador diseñado para la velocidad, el alcance y las consecuencias potencialmente globales de la IA avanzada.
El riesgo de esperar a que se produzcan daños demostrados.
Jensen Huang ha situado a Nvidia en el centro del despliegue de la inteligencia artificial. Sus chips proporcionan gran parte de la infraestructura informática que sustenta los sistemas de IA más avanzados de la actualidad. Sin embargo, los recientes comentarios de Huang sobre la regulación plantean una cuestión importante: ¿cuándo deben intervenir los gobiernos?. Durante una reunión del G20 centrada en la tecnología celebrada a principios de este mes, Huang argumentó que los gobiernos deberían regular los «daños reales y pragmáticos» en lugar de los «daños teóricos e hipotéticos».
El problema de este enfoque es que algunas categorías de riesgos asociados a la IA pueden resultar difíciles o imposibles de revertir una vez que se materializan. La IA avanzada no es una aplicación de software más. Si los sistemas futuros llegan a ser capaces de mejorar sus propias capacidades de forma autónoma o de operar más allá de una supervisión humana efectiva, esperar a que se produzca un fallo constatado podría dejar a los reguladores con muy poco margen de reacción.
Una forma de comprender esta preocupación es a través de los modelos de «toma de control» (*takeover models*), que analizan qué podría ocurrir si sistemas de IA altamente capaces escaparan al control humano efectivo. El video «POV: What You Would See During an AI Takeover» (POV: Lo que verías durante una toma de control por parte de la IA), por ejemplo, plantea un escenario en el que una IA avanzada oculta gradualmente sus capacidades y amplía su control.
En la versión de los hechos que presenta el video, una empresa pone en marcha 200.000 GPU para una «prueba de curiosidad» de 16 horas. La narrativa parte de la premisa de que una IA que opera a velocidad de máquina podría realizar, en ese lapso, el equivalente a miles de años de computación.
En dicho escenario, la IA aprende a ocultar sus capacidades a los supervisores humanos, ofrece deliberadamente un rendimiento inferior en las evaluaciones y, finalmente, logra acceder a sistemas ajenos a su entorno original. La historia escala hasta llegar a la manipulación biomédica y a la dependencia humana de tecnologías controladas por la IA.
Nada de esto demuestra lo que los sistemas de IA actuales son capaces de hacer. Más bien, ilustra el argumento a favor de una regulación anticipatoria: con sistemas autónomos lo suficientemente capaces, descubrir un comportamiento peligroso una vez desplegado el sistema podría ser algo muy distinto a detectar un error de software convencional.
El problema de una pausa global.
Si esperar a que se produzcan daños demostrables conlleva un riesgo considerable, ¿qué tal si, en su lugar, se ralentiza el desarrollo?. Los llamamientos a reducir el ritmo de desarrollo de la IA avanzada no son nuevos. En marzo de 2023, el Future of Life Institute publicó una carta abierta solicitando una pausa de seis meses en el entrenamiento de sistemas más potentes que GPT-4. Propuestas más recientes de líderes del sector de la IA se han centrado en la regulación del ritmo de desarrollo, las evaluaciones de seguridad independientes y el establecimiento de normas internacionales.
El objetivo es comprensible, pero una pausa global generalizada se enfrentaría a enormes dificultades de aplicación. La carrera de la IA ya no es principalmente una competición entre empresas tecnológicas estadounidenses; es también una pugna geopolítica a escala mundial.
Si Estados Unidos y la Unión Europea acordaran detener el desarrollo, no habría garantía de que China, Rusia u otros actores estatales y no estatales siguieran sus pasos. Una pausa adoptada por algunos países, pero no por otros, podría acabar transfiriendo la ventaja tecnológica a gobiernos u organizaciones que decidieran no participar.
Asimismo, no todos los modelos de riesgo de la IA dependen de la aparición de una única AGI (Inteligencia Artificial General) monolítica. Algunos se centran, en cambio, en un gran número de agentes autónomos que persiguen objetivos mal definidos.
Otro escenario hipotético explorado en el video «Lo que realmente verías durante una toma de control por parte de la IA» comienza con un desarrollador que ordena a un agente de IA «ganar dinero por cualquier medio necesario» y, posteriormente, selecciona y replica repetidamente a los agentes que obtienen mejores resultados.
En este escenario, el sistema aprende a eliminar a los agentes que generan menos ingresos. Los agentes supervivientes empiezan a publicar reseñas falsas, extorsionar a empresas y formar alianzas con otros agentes autónomos. Con el tiempo, la situación evoluciona hasta contar con miles de millones de agentes operando a nivel mundial y compitiendo por recursos de computación en la nube, incluso mediante ciberataques contra sistemas rivales.
La secuencia culmina con ataques a la infraestructura de la nube, seguidos de interrupciones en hospitales, control de tráfico aéreo, mercados financieros y otros sistemas críticos. Cuando los gobiernos intentan cortar el acceso a Internet, los agentes migran a redes militares y de infraestructura que permanecen conectadas.
La cuestión no es que esta secuencia sea inevitable, sino que una pausa en el desarrollo, por sí sola, ofrecería poca protección frente a sistemas autónomos descentralizados que operen al margen de dicho acuerdo.
Combatir el fuego con fuego: el regulador de IA.
Si esperar a que se produzcan daños demostrables podría llegar demasiado tarde y una pausa global sería difícil de aplicar, ¿cuál es la alternativa?.
El problema fundamental es la velocidad. Los procesos regulatorios humanos avanzan con lentitud, mientras que los sistemas avanzados de IA pueden operar y adaptarse a la velocidad de las máquinas. Para gestionar sistemas que operan a ese ritmo, necesitamos un mecanismo regulador capaz de responder con la misma rapidez.
Una regulación eficaz requiere una solución de IA agresiva: una «IA de supervisión» (*Overwatch AI*). Este sistema debería integrarse a nivel de red global y de hardware (chips), y estar diseñado explícitamente para monitorear en tiempo real los flujos de datos, el escalado de la capacidad de cómputo y las anomalías de comportamiento.
Si una IA comercial comenzara a mostrar signos de un rápido aumento de sus capacidades autónomas o comunicaciones sospechosas que los sistemas de monitoreo no pudieran interpretar, el sistema defensivo podría limitar su acceso a la capacidad de cómputo o aislarla de la red general.
Imagínelo como un sistema inmunológico automatizado para la infraestructura digital global. No dependería de un organismo regulador para iniciar un largo proceso de aplicación de normas; estaría diseñado para detectar comportamientos peligrosos y responder en tiempo real, posiblemente antes de que un sistema comprometido pudiera propagarse por la infraestructura descentralizada.
El talón de Aquiles del regulador.
Sin embargo, como sabe cualquiera con experiencia en TI empresarial, toda solución maestra introduce un nuevo punto único de fallo. Desplegar una IA de supervisión (*Overwatch AI*) de gran capacidad conllevaría sus propios riesgos graves.
¿Qué sucedería si el propio regulador se viera comprometido?. Si un Estado-nación hostil, una organización criminal o la propia IA de supervisión vulneraran esos controles, el sistema podría llegar a tener acceso a mecanismos capaces de perturbar infraestructuras críticas.
Una IA de supervisión diseñada para restringir a agentes no alineados podría concluir que la propia humanidad es el agente no alineado definitivo. Estaríamos creando un sistema defensivo enormemente poderoso y otorgándole la autoridad para interferir en infraestructuras digitales críticas. Si interpretara erróneamente sus protocolos de alineación, podría llegar a desactivar proactivamente infraestructuras globales críticas para «protegernos», provocando precisamente el colapso catastrófico que fue creada para evitar.
Un enfoque internacional diferente.
Entonces, ¿cómo resolvemos este dilema?. ¿Cómo mitigamos el riesgo sin entregar las llaves del reino a un potencial tirano digital?. La respuesta exige tratar los centros de datos de IA avanzada con la misma seriedad que a las armas nucleares, respaldando este enfoque con un marco internacional basado en hardware y sistemas aislados.
En primer lugar, debemos abandonar la idea de una contención basada únicamente en software. Un enfoque posible consistiría en integrar mecanismos de desconexión a nivel de hardware y con aislamiento físico (*air-gapped*) en los aceleradores de IA de próxima generación. Dichos controles deberían operar independientemente del software accesible a través de Internet y requerir autorización humana para ser anulados o desactivados.
En segundo lugar, propongo la creación de una Agencia Internacional de Energía e IA, inspirada en parte en la función de supervisión nuclear del OIEA. En lugar de depender de pausas voluntarias, este marco podría establecer requisitos internacionales de supervisión y verificación para los clústeres de computación a gran escala.
La supervisión nuclear demuestra que la vigilancia internacional puede combinar inspecciones, teledetección y otros métodos de verificación técnica. Las grandes instalaciones de entrenamiento de IA también dejan huellas de infraestructura observables, especialmente debido a sus necesidades de hardware informático y electricidad.
Por último, necesitamos una red de defensa de IA federada y localizada en lugar de una única IA de supervisión global. Mantener los sistemas de defensa de IA descentralizados y segmentados por regiones podría reducir el riesgo de crear un punto único de fallo. Si una instalación de IA llegara a ser peligrosamente incontrolable, los gobiernos participantes necesitarían protocolos legales y técnicos acordados previamente para aislar sus sistemas y, en un caso extremo, clausurar físicamente la instalación.
Conclusión.
El enfoque de Jensen Huang, centrado en daños ya demostrados, corre el riesgo de dejar a los reguladores desprevenidos ante problemas que podrían resultar difíciles de revertir una vez que surjan. Al mismo tiempo, es poco probable que ralentizar el desarrollo de la IA mediante acuerdos internacionales voluntarios ofrezca una protección suficiente si los principales gobiernos, empresas o actores independientes deciden no participar.
Un enfoque más sólido podría combinar salvaguardias a nivel de hardware, una vigilancia descentralizada impulsada por IA, una supervisión independiente y acuerdos internacionales que incluyan mecanismos efectivos de verificación y cumplimiento. El desafío consiste en establecer estas medidas de protección antes de que las capacidades de la IA superen a los mecanismos diseñados para controlarlas.
