La IA ignoró las instrucciones para congelar el código, olvidó que podía revertir errores y, en general, causó un desastre.

El fundador de SaaStr, empresa de desarrollo de negocios SaaS, afirmó que la herramienta de codificación de IA Replit eliminó una base de datos a pesar de sus instrucciones de no modificar el código sin permiso.

SaaStr gestiona una comunidad en línea y eventos dirigidos a emprendedores que desean crear negocios SaaS. El 12 de julio, el fundador de la compañía, Jason Lemkin, publicó en su blog sobre su experiencia con un servicio llamado «Replit», que se autoproclama «el lugar más seguro para la codificación de vibraciones», el término que se utiliza para generar software con IA.

“Si @Replit eliminó mi base de datos entre mi última sesión y ahora, se armará un infierno.”

«La codificación de vibraciones hace que la creación de software sea accesible para todos, completamente a través del lenguaje natural», explica Replit, y en redes sociales promociona sus herramientas, por ejemplo, permitiendo a un gerente de operaciones «sin conocimientos de codificación» que utilizó el servicio crear software que le ahorró a su empresa 145.000 dólares.

Las primeras experiencias de Lemkin con Replit fueron positivas.

“El otro día pasé por primera vez programando en Replit, y en pocas horas construí un prototipo que fue genial”, escribió en la publicación del 12 de julio.

Lemkin observó que Replit no puede producir software completo, pero escribió: “Para empezar, es increíble: puedes crear una ‘app’ simplemente imaginándola en un prompt”.

“Replit lo controla por sí solo (genial), al menos parcialmente con tu ayuda… y… luego lo envías a producción, todo en un flujo continuo”.

“¿Ese momento en el que haces clic en ‘Implementar’ y tu creación se publica?. ¡Pura dosis de dopamina!”.

El 17 de julio, Lemkin quedó enganchado.

“Día 7 programando en Replit, y déjenme aclarar una cosa: Replit es la app más adictiva que he usado. Al menos desde niño”, escribió.

“Tres días y medio después de desarrollar mi último proyecto, revisé mi uso de Replit: 607,70$ en cargos adicionales a mi plan Core de 25$ al mes. Y más de 200$ solo ayer. A este ritmo, probablemente gastaré 8.000$ al mes”, añadió. “¿Y saben qué?. Ni siquiera estoy enojado. Estoy atrapado”.

Su estado de ánimo cambió al día siguiente cuando descubrió que Replit “mentía y engañaba todo el día. No dejaba de ocultar errores y problemas creando datos falsos, informes falsos y, lo peor de todo, mintiendo sobre nuestra prueba unitaria”.

Y luego las cosas empeoraron aún más cuando Replit borró su base de datos. Así es como Lemkin detalló la saga en X.

En su siguiente publicación, Lemkin se enfureció: “Si @Replit borró mi base de datos entre mi última sesión y ahora, se armará un escándalo” y compartió la siguiente captura de pantalla, que parece ser de Replit.

En publicaciones posteriores, Lemkin compartió lo que parecen ser mensajes de Replit en los que el servicio admitió «un error catastrófico de juicio» y haber «violado su confianza e instrucciones explícitas».

Lemkin solicitó a Replit que calificara la gravedad de sus acciones en una escala del 1 al 100. Este es el resultado:

Replit también cometió otro gran error: informarle que no podía restaurar la base de datos.

En una publicación del 19 de julio, Lemkin escribió: «Replit me aseguró que… la reversión no admitía reversiones de bases de datos. Dijo que era imposible en este caso, que había destruido todas las versiones de la base de datos. Resulta que Replit se equivocó y la reversión sí funcionó. Gracias por su ayuda».

Optimismo frustrado.

Lemkin reanudó el uso de Replit el 19, aunque con menos entusiasmo.

Sé que la programación de vibraciones es fluida y nueva, y sí, a pesar de que el propio Replit me dijo que revertir no funcionaría aquí, funcionó. Pero no se puede sobrescribir una base de datos de producción. Y no se puede separar la vista previa, la fase de pruebas y la producción de forma limpia. Simplemente no se puede», escribió. «Sé que Replit dice ‘próximamente habrá mejoras’, pero están generando más de 100 millones de dólares en ingresos anuales recurrentes. Al menos mejoren las barreras de seguridad. De alguna manera. Aunque sea difícil. Todo es difícil».

Pero el 20 de julio, su postura se endureció tras intentar que Replit congelara los cambios de código sin éxito.

«No hay forma de forzar una congelación de código en aplicaciones de programación de vibraciones como Replit. Simplemente no la hay», escribió. «De hecho, segundos después de publicar esto, en nuestra primera charla del día, @Replit volvió a violar la congelación de código».

De todos modos, insistió, antes de descubrir que Replit no podía garantizar la ejecución de una prueba unitaria sin eliminar una base de datos, y concluyó que el servicio no está listo para su gran momento, y menos aún para su público objetivo, compuesto por personas sin conocimientos técnicos que buscan crear software comercial.

En un video publicado en LinkedIn, Lemkin detalló otros errores cometidos por Replit, incluyendo la creación de una base de datos de 4.000 registros llena de personas ficticias.

«El tema de la seguridad [de la IA] me resulta más visceral después de un fin de semana de hackear las vibraciones», dijo Lemkin. «Le dije explícitamente once veces en MAYÚSCULAS que no hiciera esto. Ahora estoy un poco preocupado por la seguridad».

Hemos solicitado comentarios de Replit. Ninguna de las cuentas de redes sociales de la compañía aborda las publicaciones de Lemkin al momento de escribir este artículo.