El director ejecutivo de Google DeepMind —un laboratorio de investigación de IA— pidió la creación de un organismo de normalización que supervise el desarrollo de la inteligencia artificial de vanguardia (o «de frontera»).
«El organismo de normalización se encargaría de desarrollar protocolos de evaluación y de colaborar con las agencias federales y los laboratorios nacionales de EE.UU. pertinentes para realizar pruebas en áreas críticas para la seguridad nacional», escribió Demis Hassabis en LinkedIn.
Sugirió que dicho organismo se basara en el modelo de una asociación público-privada supervisada por el gobierno federal o en una organización de autorregulación, como la Autoridad Reguladora de la Industria Financiera (FINRA), y que incluyera a expertos técnicos independientes de primer nivel y a representantes del sector de código abierto.
«Actualmente, estamos inmersos en una carrera comercial y geopolítica extremadamente intensa y compleja», explicó. «Si bien esta dinámica competitiva impulsa un progreso rápido y acelera beneficios increíbles, los avances en la frontera tecnológica superan nuestra comprensión de la propia tecnología».
«Nadie en el mundo sabe con certeza qué ocurrirá a partir de ahora; incluso los expertos discrepan», continuó. «Cuando existe un alto grado de incertidumbre y hay tanto en juego, actuar con un optimismo cauteloso es la estrategia sensata y correcta».
«Esto exige políticas públicas que promuevan la innovación al tiempo que incentivan la responsabilidad y la seguridad, fomenten la colaboración internacional en cuestiones clave de seguridad y alienten una reflexión cuidadosa sobre cómo se despliega la IA en beneficio de la sociedad», aconsejó.
Argumentos a favor de un organismo de normalización de la IA.
Sin duda es necesario un organismo de normalización, afirmó Chris Canal, cofundador y director ejecutivo de EquiStamp, una empresa de seguridad de IA con sede en Lewes, Delaware. «La IA es una metatecnología de doble uso», declaró. «Las mismas capacidades que aceleran el descubrimiento de fármacos pueden reducir las barreras para realizar ciberataques o crear armas biológicas».
«Hay dos factores que hacen que las normas previas al despliegue sean innegociables», señaló. «En primer lugar, los modelos de pesos abiertos no pueden retirarse una vez publicados. Los beneficios y peligros que ofrece un modelo de este tipo persisten de forma permanente».
«En segundo lugar», continuó, «laboratorios como Anthropic y OpenAI ya comparten modelos no públicos con socios y evaluadores antes de su lanzamiento; por tanto, una capacidad peligrosa podría estar en circulación y causar daños antes de que cualquier gobierno tenga conocimiento de su existencia».
Jeff Williams, director de tecnología (CTO) y cofundador de Contrast Security —una empresa de seguridad en tiempo de ejecución con sede en Los Altos, California—, coincidió en la necesidad de un organismo de normalización que supervise el desarrollo de la IA, especialmente la de vanguardia. «En última instancia, estos sistemas podrían plantear riesgos comparables a los de las armas nucleares, biológicas o químicas», declaró. «Aún no sabemos cuán peligrosos llegarán a ser, pero las pruebas son lo suficientemente sólidas como para que esperar resulte irresponsable».
Recomendó adoptar un enfoque científico, centrado en capacidades medibles y basado en la labor que ya se está llevando a cabo en la comunidad de seguridad. «El proyecto OWASP (Open Worldwide Application Security Project), en particular, ha desarrollado directrices prácticas para abordar una amplia gama de riesgos asociados a la IA generativa y a la IA basada en agentes», señaló. «Un organismo de normalización debería financiar, validar y ampliar ese trabajo, en lugar de reinventarlo a puerta cerrada».
Fortalecer la capacidad existente.
«Necesitamos pruebas rigurosas y estandarizadas para los modelos de frontera», añadió Michelle Lopes Maldonado, directora asociada de políticas de IA en la Information Technology & Innovation Foundation (ITIF), una organización de investigación y políticas públicas con sede en Washington D. C.
«Estados Unidos ya está desarrollando esa capacidad», comentó. «El Centro de Normas e Innovación en IA (CAISI) del NIST cuenta con acuerdos de evaluación previa al despliegue con la mayoría de los principales laboratorios».
«Debemos fortalecer y financiar adecuadamente esta capacidad existente antes de crear una nueva institución», argumentó. «Las pruebas de seguridad *ad hoc*, realizadas laboratorio por laboratorio, no serán escalables a medida que avancen las capacidades tecnológicas».
Esa infraestructura de pruebas existente plantea una cuestión fundamental en torno a la propuesta de Hassabis: si Estados Unidos necesita un nuevo organismo de normalización de IA o si debería fortalecer y ampliar los recursos de las instituciones que ya evalúan los modelos de frontera.
Michael Bell, director ejecutivo de Suzu Labs —una empresa de Las Vegas que ofrece servicios de ciberseguridad basados en inteligencia artificial—, sostuvo que es necesario exigir responsabilidades por daños específicos y cuantificables. «No necesitamos necesariamente una nueva burocracia que se interponga entre el lanzamiento de cada modelo y el mercado», declaró.
«Los riesgos de seguridad que plantea la IA de vanguardia son reales», reconoció. «Dirijo una empresa que realiza pruebas de intrusión (“red teaming”) en sistemas de IA para clientes corporativos y gubernamentales, y las superficies de ataque se están ampliando más rápido de lo que la mayoría de las organizaciones comprende. Sin embargo, existe una diferencia entre una supervisión específica de los riesgos reales para la seguridad nacional y la creación de un aparato regulador que frene a toda una industria basándose en umbrales de capacidad definidos por las mismas empresas que presionan para crear dicho organismo».
«La pregunta no debería ser: ‘¿necesitamos un organismo de normalización?'», afirmó. «Debería ser: ‘¿qué intentamos prevenir exactamente y es una nueva institución la forma más eficaz de evitarlo?'».
Un modelo mejor.
Canal cuestionó la idea de basar el nuevo marco de revisión de la IA en el modelo de la FINRA. «La FINRA supervisa la conducta *a posteriori* en un ámbito donde las pérdidas son financieras y recuperables», explicó. «Además, el sector financiero se niega explícitamente a valorar económicamente las catástrofes; la mayoría de los contratos de seguros excluyen precisamente las categorías de desastres que la IA podría provocar».
«Un modelo mejor», argumentó, «sería algo parecido al código de edificación de la ASCE. Cuando aprobamos un proyecto que afecta a la sociedad, como un puente o un edificio, evaluamos el beneficio público, establecemos una probabilidad de fallo tolerable explícita y derivamos los requisitos a partir de ella».
«Ese último aspecto es importante», continuó. «Cuando la tolerancia es explícita, la norma se limita a lo mínimo necesario para cumplirla, y no a lo que a un comité le parezca oportuno».
«Deberíamos regular la IA de vanguardia del mismo modo que autorizamos las centrales nucleares, no como supervisamos a los agentes de bolsa», afirmó. «Esto se aplica tanto si la entidad que desarrolla la IA es un gobierno como si es una institución privada. Ambas deben cumplir los códigos de edificación, y dichos códigos se verifican y hacen cumplir en múltiples fases del proceso de construcción: en el diseño y los planos, antes, durante y después de la obra, y de forma continua una vez finalizado el proyecto».
La recomendación de Hassabis de que el organismo de normalización forme parte de una colaboración público-privada es importante. «Una colaboración público-privada es esencial porque ningún grupo por sí solo posee todos los recursos necesarios», explicó Williams.
«Los laboratorios de vanguardia cuentan con los modelos, el talento y la capacidad de cómputo», afirmó. «El gobierno aporta autoridad, inteligencia y recursos de seguridad nacional. La comunidad de seguridad independiente aporta experiencia en análisis de amenazas y apertura».
«Pero no se trataría de una asociación entre iguales», continuó. «Las empresas de IA invierten miles de millones y avanzan a una velocidad extraordinaria. El gobierno se mueve con lentitud, mientras que gran parte de la comunidad de seguridad sigue dependiendo de voluntarios. A menos que la investigación independiente reciba financiación a una escala y velocidad más cercanas a las de la industria, las empresas líderes marcarán la agenda, simplemente porque todos los demás estarán permanentemente tratando de ponerse al día».
Riesgos de la autorregulación de la IA.
Convertir el organismo de normalización en una entidad de autorregulación también tiene ventajas. «Una organización de autorregulación puede contratar talento técnico a precios de mercado, actuar con mayor rapidez que los procesos legislativos y actualizar los criterios de referencia trimestralmente en lugar de una vez por década», explicó Maldonado. «La FINRA funciona porque los profesionales del sector a menudo comprenden mejor los riesgos que los reguladores ajenos a la industria».
No obstante, reconoció que también existen desventajas. Por ejemplo, existe el riesgo de captura del regulador. «Un organismo financiado y asesorado por laboratorios de vanguardia podría verse sometido a una presión constante para establecer criterios que favorezcan a las empresas establecidas y aumenten los costos de sus competidores», señaló.
Añadió que es posible que FINRA no sea el modelo más adecuado para el organismo encargado de establecer normas. «FINRA supervisa la conducta en un sector maduro con reglas bien establecidas, mientras que la ciencia de la evaluación de la IA aún está en sus inicios», explicó. «Las auditorías independientes ya revelan metodologías inconsistentes entre los distintos evaluadores».
«Cualquier junta dominada por empresas de vanguardia tendría un interés directo en crear un organismo que las proteja y restrinja la entrada de nuevos modelos», añadió Sean Campbell, cofundador de Cascade Insights, una empresa de investigación de mercado y servicios de marketing estratégico con sede en Portland (Oregón).
«Es el clásico caso del zorro cuidando el gallinero», declaró.
Se mostró partidario de establecer sólidas asociaciones público-privadas, pero agregó que también eran necesarias alianzas globales firmes. «De lo contrario, sería como intentar controlar la proliferación nuclear llegando a acuerdos con los 50 estados», afirmó.
Establecer normas antes de la llegada de la AGI.
Hassabis sostuvo que establecer normas de IA ahora allanará el camino para la IA del futuro: la inteligencia artificial general (AGI).
«Existe una gran expectación y, al mismo tiempo, incertidumbre en torno a la IA; ambas están justificadas», escribió. «Pero el futuro aún no está escrito; debemos aprovechar esta valiosa oportunidad, antes de que llegue la AGI, para dar forma a esta tecnología en beneficio de toda la humanidad».
«Lo que hagamos colectivamente ahora determinará cómo se desarrollará la próxima fase de la civilización», continuó. «Si gestionamos la llegada de la AGI al mundo de forma segura, podremos entrar en una nueva era dorada de descubrimientos científicos y progreso, y dar paso a un futuro brillante de extraordinario florecimiento humano».
