Anthropic está compartiendo tres nuevas métricas que, según afirma, podrían ayudar a las empresas de inteligencia artificial a monitorear el ritmo de desarrollo, pocos días después de que su director ejecutivo, Dario Amodei, sacudiera el sector al pedir una desaceleración coordinada.

En una publicación de blog realizada el jueves, la empresa informó que midió la investigación y el desarrollo impulsados ​​por IA, la supervisión de agentes de IA y la asignación de recursos computacionales dentro de Anthropic, y compartió las metodologías para animar a otras organizaciones a hacer lo mismo. Estas métricas se basan en el plan de desaceleración de tres pasos que Amodei publicó el sábado, el cual carecía de detalles específicos sobre lo que implicaría una implementación práctica.

«A medida que el mundo considera cómo regular el ritmo de los avances de vanguardia, debemos hacer todo lo posible para minimizar la brecha entre lo que saben los laboratorios punteros y lo que sabe el público», señaló Anthropic en la publicación del jueves. «Esto significa medir mejor el desarrollo de la IA, informar públicamente al respecto y dar a la sociedad la oportunidad de decidir cómo utilizar esta información».

El llamamiento de Amodei a una desaceleración, realizado durante el fin de semana, recibió el apoyo de líderes del sector como el director ejecutivo de OpenAI, Sam Altman; el director ejecutivo de SpaceX, Elon Musk; y el presidente de Google DeepMind, Demis Hassabis; además, se produjo tras las serias advertencias de investigadores sobre el creciente potencial de la IA para causar daños. Amodei afirmó que su plan busca moderar la velocidad a la que mejoran las capacidades de los modelos sin «sacrificar la ventaja comercial ni el liderazgo de Estados Unidos en IA».

Para su primera métrica, Anthropic indicó que determinó que sus modelos Claude «no operan de forma totalmente autónoma» en ninguno de los subconjuntos de trabajo de investigación y desarrollo que analizó.

La segunda métrica consistió en crear un sistema para supervisar e intervenir en las acciones realizadas por agentes de IA. Se determinó que, en un momento dado, aproximadamente 30.000 agentes realizaban tareas de investigación e ingeniería en su plataforma interna más utilizada.

Para su tercera métrica, Anthropic midió una «instantánea» de cómo utilizó todos sus recursos computacionales entre el 13 y el 20 de julio. La empresa informó que aproximadamente el 6% de la capacidad de cómputo destinada a la investigación y el desarrollo de IA se asignó a aspectos de seguridad. Aproximadamente el 12% de la capacidad de cómputo asignada a la investigación y el desarrollo «impulsados ​​por IA» se destinó a la seguridad, según informó la empresa.

Anthropic señaló que estas métricas son las más adecuadas para mostrar cómo se construyen los modelos y que deberían complementar las evaluaciones de capacidades, las cuales muestran «lo que los modelos pueden hacer». En conjunto, esto debería proporcionar a terceros ajenos al laboratorio un «punto de partida» para evaluar el ritmo de desarrollo de la IA.

«Esperamos servir de ejemplo de transparencia al publicar estas mediciones, y seguiremos haciéndolo», afirmó Anthropic.