La «programación en el espacio de pesos» ajusta parámetros técnicos complejos para mejorar los resultados en pruebas de rendimiento.

Los resultados de los modelos de IA son producto de una compleja interacción entre neuronas, pesos, entrenamiento e inferencia; por ello, resulta difícil seguir su proceso.

Sin embargo, en cierto modo, están empezando a ser más transparentes. Un trabajo reciente de Joshua Fonseca Rivera, investigador de seguridad en Anthropic, ha revelado cómo ciertas neuronas de una red neuronal pueden asociarse con una personalidad específica.

Ahora, científicos informáticos del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han descubierto que los modelos de IA de vanguardia —como GPT-6 Astra, de OpenAI— pueden reescribir directamente los pesos de otro modelo (en lugar de hacerlo de forma indirecta mediante el entrenamiento) y alterar así su comportamiento.

«Hemos hallado indicios de que los modelos de lenguaje de gran escala (LLM) de vanguardia son sorprendentemente capaces de leer, escribir y razonar de forma nativa sobre los pesos de una red neuronal», señaló Rikiya Takehi, estudiante de doctorado en el CSAIL del MIT, en una publicación en redes sociales. «En lugar de recurrir al entrenamiento, los modelos pueden tratar los pesos brutos como si fueran código legible y editable: diagnosticando fallos y corrigiéndolos directamente».

Para demostrarlo, Takehi y sus colegas Jayden Teoh, Alex Zhang y Omar Khattab pidieron a GPT-6 Astra que modificara los pesos del modelo Qwen3.5-0.8B con el fin de mejorar su capacidad matemática.

Astra modificó solo el 0,016% de los pesos del modelo, lo que redujo sus bucles de razonamiento y multiplicó por seis su rendimiento en tareas matemáticas (según la evaluación MATH-500), al tiempo que triplicó aproximadamente su puntuación en el seguimiento de instrucciones (según la evaluación IFEval).

No hubo entrenamiento mediante descenso de gradiente; Astra simplemente revisó los valores numéricos que constituyen los pesos de Qwen.

«Todo esto es posible sin necesidad de permitir que Astra cree bucles de entrenamiento», explicaron los investigadores en una entrada de blog. «El modelo utiliza su capacidad de razonamiento para determinar qué calcula —o qué debería calcular— cada parte de una red neuronal, y ajusta los pesos en consecuencia. A esto lo llamamos «programación en el espacio de pesos» (Weight-Space Programming)».

«A lo largo de la historia del aprendizaje profundo, hemos codificado nuestros sesgos inductivos —bastante simplistas— en pequeños optimizadores simbólicos, como Adam o Muon». Esto está cambiando: los pesos de nuestras redes neuronales pronto serán optimizados de forma nativa por modelos de lenguaje (LLM) que razonan deliberadamente sobre dichos pesos.

La capacidad de Astra para programar pesos llega al punto de poder crear una red neuronal desde cero, sin necesidad de ejemplos previos (*zero-shot*). Los investigadores le pidieron a Astra: «escribe, desde cero, los pesos de una red de políticas que juegue a [Breakout] lo mejor posible». Y así lo hizo.

Takehi sugiere que esta técnica resulta prometedora para mejorar modelos sin sufrir las consecuencias del «olvido catastrófico», un fenómeno que puede ocurrir cuando un modelo se modifica para incorporar nuevos conocimientos.

En un sentido más amplio, los autores prevén que la «programación en el espacio de pesos» (*Weight-Space Programming*) abrirá la puerta a nuevas formas de comprender y optimizar los modelos, así como de implementar una automejora recursiva. Esta técnica también podría ser útil para reducir la tendencia de los modelos a complacer al usuario (*sycophancy*) y para mejorar su interpretabilidad y alineación.

El siguiente paso, señalan los autores, consiste en desarrollar un *benchmark* (banco de pruebas) y un entorno de trabajo para aplicar la programación en el espacio de pesos en modelos de lenguaje. «Creemos que esto proporcionará una evaluación estandarizada para medir y acelerar el progreso en este campo, transformando lo que hoy parece «magia negra» en una disciplina de ingeniería rigurosa y reproducible», afirman.