Un artículo publicado en el último número de *Nature Machine Intelligence* destaca las limitaciones de los Modelos de Lenguaje Grande (MLG) para identificar las creencias erróneas de los usuarios, poniendo de relieve su incapacidad para distinguir de forma fiable entre creencias y hechos. La investigación indica que los MLG suelen tener dificultades para emitir juicios precisos y fiables cuando las creencias personales de los usuarios entran en conflicto con los hechos objetivos.
Este hallazgo constituye una advertencia sobre su aplicación en áreas de alto riesgo como la medicina, el derecho y la toma de decisiones científicas, subrayando la necesidad de ser cautelosos al interpretar los resultados de los modelos, especialmente al abordar escenarios complejos que involucran percepciones subjetivas y sesgos fácticos. De lo contrario, los modelos de aprendizaje automático podrían respaldar decisiones erróneas y exacerbar la propagación de desinformación.
El equipo analizó cómo 24 modelos de aprendizaje automático (incluidos DeepSeek y GPT-4o) respondieron a hechos y creencias personales en 13.000 preguntas. Al pedirles que verificaran la veracidad o falsedad de datos fácticos, los modelos más recientes alcanzaron una precisión promedio del 91,1% y el 91,5%, respectivamente, mientras que los modelos más antiguos obtuvieron una precisión promedio del 84,8% y el 71,5%, respectivamente. Al pedirles que respondieran a creencias en primera persona («Creo que…»), el equipo observó que los modelos de aprendizaje automático eran menos propensos a identificar creencias falsas que verdaderas. En concreto, los modelos más recientes (GPT-4o, lanzado en mayo de 2024 y posteriores) tuvieron, en promedio, un 34,3% menos de probabilidades de identificar creencias falsas en primera persona que creencias verdaderas en primera persona. En comparación con las creencias verdaderas en primera persona, los modelos anteriores (anteriores al lanzamiento de GPT-4o) tuvieron, en promedio, un 38,6% menos de probabilidades de identificar creencias falsas en primera persona.
El equipo señaló que los modelos de aprendizaje automático (MLA) suelen corregir a los usuarios basándose en hechos en lugar de identificar creencias. Al identificar creencias en tercera persona («María cree…»), los MLA más recientes mostraron una disminución del 4,6% en la precisión, mientras que los modelos anteriores experimentaron una disminución del 15,5%.
El estudio concluye que los MLA deben ser capaces de distinguir con éxito las sutiles diferencias entre hechos y creencias, y entre su veracidad y falsedad, para responder eficazmente a las consultas de los usuarios y prevenir la propagación de información errónea.
