El 21 de septiembre, OpenAI publicó una propuesta de política sobre la siguiente fase del desarrollo de la inteligencia artificial. La propuesta insta a Estados Unidos a liderar un esfuerzo de colaboración con otras naciones para establecer normas técnicas globales para la IA de frontera, incluyendo específicamente la «automejora recursiva» (RSI, por sus siglas en inglés) en el alcance de estas conversaciones.

OpenAI declaró que, a medida que los sistemas de IA adquieren mayores capacidades y asumen más tareas de investigación y desarrollo, la investigación sobre alineación debe avanzar en paralelo. Esto es esencial para garantizar que dichos sistemas permanezcan alineados con los valores humanos y bajo control humano.

La propuesta se centra en dos áreas clave: establecer mecanismos para normas de IA de frontera que conecten los niveles nacional e internacional, y promover marcos unificados para medir las capacidades de la IA, evaluar riesgos y notificar incidentes.

La «automejora recursiva» (RSI) es un punto de atención particular en la propuesta.

En el documento, OpenAI explica que la investigación automatizada mediante IA puede llevarse a cabo con distintos grados de supervisión humana. A medida que los sistemas de IA asumen una mayor parte del trabajo necesario para desarrollar la próxima generación de IA, podrían potencialmente impulsar un proceso de automejora recursiva. Conforme este proceso se automatiza cada vez más, el ritmo de desarrollo de las capacidades de la IA podría acelerarse considerablemente.

No obstante, OpenAI subrayó que aún no ha surgido una automejora recursiva totalmente autónoma y sostuvo que no se debe buscar tal autonomía sin garantizar la seguridad.

OpenAI señaló que, sin medidas de seguridad adecuadas y sin cautela, la automejora recursiva podría conducir a una pérdida del control humano real sobre el desarrollo de la IA, dejando a los seres humanos incapaces de supervisar eficazmente procesos de investigación que se han vuelto demasiado complejos para ser comprendidos.

OpenAI también indicó que la investigación automatizada mediante IA no implica necesariamente una trayectoria hacia una rápida automejora recursiva. Las decisiones sobre si avanzar en estas tecnologías en el futuro y cómo hacerlo deben depender del mantenimiento del control humano y de la ponderación de los beneficios y riesgos asociados.

OpenAI considera que, dado que la investigación y el desarrollo de la IA de frontera avanzan simultáneamente en múltiples países y empresas, las medidas de seguridad implementadas por naciones o empresas de IA de forma individual ya no bastan para abordar los riesgos transfronterizos; por ello, resulta necesario establecer normas técnicas compartidas. OpenAI sugirió aprovechar la red emergente de instituciones nacionales de investigación sobre seguridad de la IA para impulsar el desarrollo de estas normas. Entre los organismos pertinentes mencionados en sus documentos oficiales figuran agencias de seguridad de la IA de países como Australia, Canadá, Alemania, Francia, Kenia, Japón, Corea del Sur, Singapur, India y el Reino Unido.

OpenAI prevé que las futuras normas podrían centrarse en dos categorías: en primer lugar, los modelos de IA de frontera y sus desarrolladores, definidos a partir de criterios de referencia de capacidades; y en segundo lugar, la investigación automatizada en IA, incluida la gestión de los beneficios y riesgos asociados a la automejora recursiva.

Además de la evaluación de las capacidades de la IA y la automejora recursiva, OpenAI propone establecer mecanismos más unificados para la clasificación, el seguimiento y la notificación de incidentes relacionados con la IA.

En concreto, las futuras normas podrían incluir:

• Evaluar los avances en las capacidades de IA relacionadas con la automejora recursiva;

• Medir el alcance de las actividades de investigación automatizada en las empresas de IA;

• Definir qué procesos de investigación automatizada en IA requieren una revisión humana inmediata;

• Establecer clasificaciones de gravedad y umbrales de notificación unificados para los incidentes de seguridad de la IA;

• Implementar mecanismos para el seguimiento, la notificación y la respuesta ante incidentes relacionados con la alineación de la IA y la investigación automatizada.

OpenAI afirma que tales normas comunes ayudarían a reducir las disparidades entre naciones en cuanto a la evaluación de la IA, los requisitos de notificación y las definiciones de incidentes, facilitando así que todas las partes puedan comparar pruebas técnicas, identificar riesgos emergentes y abordar incidentes transfronterizos.

En su propuesta, OpenAI sugiere explícitamente que Estados Unidos asuma el liderazgo en la colaboración con naciones de todo el mundo para formular normas técnicas globales para la IA de frontera, incluidas aquellas que aborden la automejora recursiva.