Muchas personas comienzan a trabajar con IA indicándole a la máquina que se imagine que es experta en la tarea que desean que realice, una técnica que, según los expertos, puede resultar inútil.
Las indicaciones basadas en perfiles de usuario —que implican el uso de directivas como «Eres un programador experto en aprendizaje automático» en las indicaciones del modelo— se remontan a 2023, cuando los investigadores comenzaron a explorar cómo las instrucciones de simulación de roles influían en los resultados de los modelos de IA.
Actualmente es común encontrar guías de indicaciones en línea que incluyen frases como: «Eres un desarrollador full-stack experto encargado de crear una aplicación web full-stack completa y lista para producción desde cero».
Sin embargo, los académicos que han investigado este enfoque informan que no siempre produce resultados superiores.
En un artículo preliminar titulado «Los perfiles de expertos mejoran la alineación de los modelos de aprendizaje por contrato, pero perjudican la precisión: Enrutamiento de perfiles basado en intenciones con PRISM», investigadores de la Universidad del Sur de California (USC) descubrieron que la generación de perfiles depende de la tarea, lo que explica los resultados mixtos.
Para tareas que dependen de la alineación, como la escritura, la simulación de roles y la seguridad, los perfiles mejoran el rendimiento del modelo. Para tareas que dependen del preentrenamiento, como las matemáticas y la programación, esta técnica produce peores resultados.
La razón parece ser que indicarle a un modelo que es experto en un campo no le confiere ninguna experiencia real; no se añaden datos a los datos de entrenamiento.
De hecho, indicarle a un modelo que es experto en un campo específico dificulta su capacidad para obtener información de los datos de preentrenamiento.
Los investigadores utilizaron el índice MMLU (Measuring Massive Multitask Language Understanding), un método para evaluar el rendimiento de los modelos de lenguaje natural (LLM), para probar la guía basada en perfiles de usuario y descubrieron que «cuando se le pide al LLM que elija entre varias opciones de respuesta, el perfil de experto tiene un rendimiento inferior al del modelo base de forma consistente en las cuatro categorías temáticas (precisión general: 68,0% frente al 71,6% del modelo base). Una posible explicación es que los prefijos de perfil de usuario activan el modo de seguimiento de instrucciones del modelo, que de otro modo se dedicaría a la memorización de datos».
Sin embargo, la guía basada en perfiles de usuario ayuda a orientar el modelo hacia respuestas que satisfacen la evaluación de coherencia realizada por el propio LLM. Por ejemplo, los autores señalan: «Un perfil de «Monitor de Seguridad» específico aumenta las tasas de rechazo de ataques en los tres índices de seguridad, con la mayor mejora en JailbreakBench (+17,7 puntos porcentuales, del 53,2% al 70,9%)».
Zizhao Hu, estudiante de doctorado en la USC y coautor del estudio, explicó por correo electrónico que, según los hallazgos, pedirle a la IA que adopte el perfil de un programador experto no mejorará la calidad ni la utilidad del código.
Sin embargo, refiriéndose a la guía de indicaciones que enlazamos anteriormente, Hu afirmó que «muchos otros aspectos, como las preferencias de interfaz de usuario, la arquitectura del proyecto y las herramientas preferidas, se alinean mejor con los requisitos del usuario, lo que sí se beneficia de un perfil detallado».
«En los ejemplos proporcionados, creemos que el perfil de experto general, como ‘Eres un desarrollador full-stack experto’, no es necesario, mientras que los requisitos de proyecto personalizados y específicos podrían ayudar al modelo a generar código que satisfaga las necesidades del usuario».
Dado que las indicaciones sobre la experiencia sí tienen un efecto, los investigadores —Hu y sus colegas Mohammad Rostami y Jesse Thomason— propusieron una técnica que denominan PRISM (Enrutamiento de Personas mediante Automodelado Basado en Intenciones), la cual busca aprovechar los beneficios de los perfiles de expertos sin sus inconvenientes.
«Utilizamos el mecanismo LoRA (adaptación de bajo rango) con compuerta, donde el modelo base se conserva y se usa íntegramente durante generaciones que dependen del conocimiento preentrenado», explicó, y añadió: «Este proceso de decisión lo aprende la compuerta».
El adaptador LoRA se activa cuando los comportamientos basados en perfiles de usuario mejoran el resultado; de lo contrario, se recurre al modelo sin modificar.
Los investigadores diseñaron PRISM para evitar las desventajas de otros enfoques: el enrutamiento basado en indicaciones, que aplica perfiles de usuario expertos en el momento de la inferencia, y el ajuste fino supervisado, que incorpora el comportamiento a los pesos del modelo.
Al preguntarle si existe alguna forma de generalizar los métodos de indicaciones eficaces, Hu respondió: «No podemos afirmarlo con certeza para las indicaciones generales, pero a partir de nuestra experiencia con las indicaciones de perfiles de usuario expertos, un posible punto clave es: «Si le importa más la alineación (seguridad, reglas, seguimiento de la estructura, etc.), sea específico en su requisito; si le importa más la precisión y los hechos, no añada nada, simplemente envíe la consulta»».
