Se supone que las herramientas de programación de inteligencia artificial aceleran el desarrollo de software, pero investigadores que las probaron en un ensayo controlado aleatorio descubrieron lo contrario.

Científicos informáticos de Model Evaluation & Threat Research (METR), un grupo de investigación sin fines de lucro, han publicado un estudio que demuestra que las herramientas de programación de IA ralentizaron a los desarrolladores de software, a pesar de las expectativas contrarias.

El uso de herramientas de IA no solo obstaculizó a los desarrolladores, sino que los llevó a alucinar, de forma similar a como las IA tienden a hacerlo. Los desarrolladores predijeron una aceleración del 24%, pero incluso después de la conclusión del estudio, creían que la IA les había ayudado a completar tareas un 20% más rápido, cuando en realidad había retrasado su trabajo aproximadamente ese porcentaje.

«Tras completar el estudio, los desarrolladores estiman que permitir la IA redujo el tiempo de finalización en un 20%», afirma el estudio. «Sorprendentemente, descubrimos que permitir la IA en realidad aumenta el tiempo de finalización en un 19%; las herramientas de IA ralentizaron a los desarrolladores».

El estudio involucró a 16 desarrolladores experimentados que trabajan en grandes proyectos de código abierto. Los desarrolladores proporcionaron una lista de problemas reales (por ejemplo, correcciones de errores, nuevas funciones, etc.) que debían abordar (246 en total) y pronosticaron la duración prevista de dichas tareas. Los problemas se asignaron aleatoriamente para permitir o deshabilitar el uso de herramientas de IA.

Los desarrolladores procedieron a trabajar en sus problemas, utilizando su herramienta de IA preferida (principalmente Cursor Pro con Claude 3.5/3.7 Sonnet) cuando se les permitió. El trabajo se realizó entre febrero y junio de 2025.

El estudio indica que la ralentización probablemente se pueda atribuir a cinco factores:

• «Exceso de optimismo sobre la utilidad de la IA» (los desarrolladores tenían expectativas poco realistas).

• «Alta familiaridad de los desarrolladores con los repositorios» (los desarrolladores tenían suficiente experiencia como para que la ayuda de la IA no tuviera nada que ofrecerles).

• «Repositorios grandes y complejos» (la IA tiene un rendimiento inferior en repositorios grandes con más de un millón de líneas de código).

• «Baja fiabilidad de la IA» (los desarrolladores aceptaron menos del 44% de las sugerencias generadas y luego dedicaron tiempo a depurarlas y revisarlas).

• «Contexto implícito del repositorio» (la IA no comprendía el contexto en el que operaba).

Otras consideraciones, como la latencia en la generación de la IA y la imposibilidad de proporcionar a los modelos un contexto (entrada) óptimo, podrían haber influido en los resultados, pero los investigadores afirman no estar seguros de cómo afectaron estos factores al estudio.

Otros investigadores también han descubierto que la IA no siempre cumple con las expectativas. Un estudio reciente de Qodo, empresa de programación de IA, reveló que algunos de los beneficios de la asistencia de software de IA se vieron socavados por la necesidad de realizar trabajo adicional para verificar las sugerencias de código de IA. Una encuesta económica, basada en datos de Dinamarca, reveló que la IA generativa no ha tenido impacto en el empleo ni en los salarios. Un estudio de Intel reveló que las PC con IA reducen la productividad de los usuarios. Y los trabajadores de un centro de llamadas de una empresa eléctrica china afirman que, si bien la asistencia de IA puede acelerar algunas tareas, también las ralentiza al generar más trabajo.

Este aspecto del uso de herramientas de IA (el trabajo adicional) se evidencia en uno de los gráficos incluidos en el estudio. «Cuando se permite la IA, los desarrolladores dedican menos tiempo a codificar activamente, buscar/leer información y, en cambio, a incentivar a la IA, esperar y revisar los resultados de IA, y a estar inactivos», explica el estudio.

De forma más anecdótica, muchos programadores descubren que las herramientas de IA pueden ayudar a probar nuevos escenarios rápidamente y de forma sencilla, y automatizar ciertas tareas rutinarias, pero no ahorran tiempo en general, ya que aún hay que validar si el código funciona realmente; además, no aprenden como un becario. En otras palabras, las herramientas de IA pueden hacer que la programación sea cada vez más divertida, pero no la hacen más eficiente.

Los autores —Joel Becker, Nate Rush, Beth Barnes y David Rein— advierten que su trabajo debe analizarse en un contexto limitado, como una instantánea basada en herramientas y condiciones experimentales específicas.

«La ralentización que observamos no implica que las herramientas de IA actuales no mejoren a menudo la productividad de los desarrolladores; encontramos evidencia de que la alta familiaridad de los desarrolladores con los repositorios, así como el tamaño y la madurez de estos, contribuyen a la ralentización observada, y estos factores no se aplican en muchos entornos de desarrollo de software», afirman.

Estos hallazgos no implican que los sistemas de IA actuales no sean útiles ni que los modelos de IA futuros no ofrezcan mejores resultados.