A pesar de los rápidos avances, los mejores modelos de IA actuales siguen siendo frágiles en entornos reales y complejos, según un nuevo estudio de Tencent.

Los principales modelos de inteligencia artificial de EE.UU. y China son frustrantes de usar en entornos reales porque les cuesta aprender del contexto, según Tencent Holdings en un nuevo documento técnico, el primero coescrito por Vinces Yao Shunyu desde que asumió el cargo de científico jefe de IA en la empresa.

Los desarrolladores de IA deben priorizar el aprendizaje contextual en el diseño de futuros modelos si quieren que sus productos sean realmente útiles fuera de entornos controlados, según investigadores de Tencent y del Instituto de IA Encarnada Confiable de la Universidad de Fudan.

“Los modelos suelen fallar de forma sutil pero significativa”, escribieron los investigadores en un artículo publicado el martes. “Hasta que [el aprendizaje contextual] mejore, [los modelos] seguirán siendo frágiles precisamente en los entornos donde más necesitamos que sean útiles: entornos reales, desordenados y dinámicos”.

La investigación surge en un momento en que Yao, exinvestigador estrella de OpenAI, busca revitalizar los esfuerzos de Tencent en el desarrollo de modelos fundacionales tras una serie de reestructuraciones internas.

Los modelos Hunyuan del conglomerado con sede en Shenzhen se encuentran por detrás de rivales nacionales como DeepSeek, mientras que su aplicación insignia de IA para consumidores, Yuanbao, contaba en enero con aproximadamente la mitad de usuarios que Doubao, la aplicación líder del mercado de ByteDance.

Para evaluar los niveles de capacidad de aprendizaje contextual entre los modelos existentes, los investigadores de Tencent desarrollaron un nuevo punto de referencia llamado CL-bench, que probó 19 modelos líderes en 1899 tareas diseñadas para medir el aprendizaje en el trabajo.