A pesar de la caída en el costo de los tokens, las empresas siguen viendo cómo aumenta su factura de IA.
El precio de un token —las unidades de texto que los grandes modelos de lenguaje (LLM) utilizan para generar respuestas a las instrucciones (“prompts”) y que las empresas de IA emplean para facturar a sus clientes— se ha desplomado, señaló Jeff Barrington, director gerente de Windsor Drake, una firma de banca de inversión y asesoría en fusiones y adquisiciones con sede en Toronto.
«Han bajado alrededor de un 98% desde principios de 2024; sin embargo, las facturas de IA empresarial siguen aumentando», declaró. «La capacidad de cómputo más barata simplemente se consume más rápido, y el 73% de las empresas superó con creces sus presupuestos iniciales de IA el año pasado».
«Uber proporcionó un asistente de programación a 5.000 ingenieros en diciembre y agotó todo su presupuesto anual de IA para el mes de abril», añadió.
Una de las razones de este creciente consumo es que las empresas están pasando de las fases piloto a la producción, y de los chatbots a los agentes. «Un agente no se limita a responder a una sola instrucción», explicó Barrington. «Desglosa esa instrucción en procesos de planificación, llamadas a herramientas, recuperación de información y verificación, lo que puede convertir una única orden en cientos de llamadas y en un consumo de tokens entre cinco y treinta veces mayor».
«Introducir datos desordenados y no estructurados agrava el problema, ya que el modelo consume tokens simplemente al procesar ese caos», afirmó.
«El uso de documentos limpios y estructurados reduce la factura a la inversa: hay menos que interpretar y se utilizan menos tokens», continuó. «La fase de inferencia representa actualmente alrededor del 85% de los presupuestos de IA empresarial; ahí es donde se concentra el gasto».
IA de agentes: voraz consumidora de tokens.
La IA transformó el modelo de software, pasando de licencias de costo fijo a un servicio de pago por uso, afirmó Jon Knisley, responsable de habilitación y valor de IA en Abbyy, una empresa global de automatización inteligente.
«Cada instrucción, recuperación de datos y bucle de proceso contabiliza para el cobro, por lo que el gasto aumenta a medida que crece la adopción», comentó. «Pero el verdadero salto se produce en la arquitectura». «Pasar de un chatbot a un agente aumenta el consumo de tokens por tarea entre uno y dos órdenes de magnitud», afirmó.
Añadió que una gran parte de la factura de IA de una empresa corresponde a un gasto innecesario. «En las cargas de trabajo basadas en agentes, el resultado efectivo suele representar solo entre el 5% y el 15% de los tokens consumidos», explicó. «El resto es sobrecarga de contexto».
«Los archivos PDF son un ejemplo perfecto», señaló. «Fueron diseñados para la visualización, no para la comprensión; por ello, cada PDF que entra en un flujo de trabajo obliga al modelo a consumir tokens reconstruyendo el diseño antes de poder extraer la información relevante. Estás pagando a un modelo de razonamiento para que realice una tarea de formato».
«El consumo de tokens también se está acelerando porque las organizaciones están ampliando el número de flujos de trabajo en los que la IA aporta valor». «A medida que la IA se integra en más funciones empresariales y tareas cotidianas, el consumo de tokens aumenta naturalmente, ya que más interacciones pasan por estos modelos», explicó Edward Rothschild, director de tecnología (CTO) de Adronite, una empresa de Seattle especializada en programación e inteligencia de software mediante IA.
Añadió que las nuevas generaciones de modelos de IA suelen consumir más tokens que sus predecesores, incluso al realizar tareas que los modelos antiguos ya podían gestionar.
«En muchos casos, esto se debe a que están diseñados para razonar con mayor profundidad, dando pasos adicionales, evaluando más contexto y realizando un mayor procesamiento interno antes de generar una respuesta», declaró. Ese razonamiento adicional puede mejorar la calidad, pero también incrementa el consumo de tokens.
Más allá de los costes de los tokens.
El mensaje clave aquí es que el consumo de tokens de IA se está disparando a medida que las empresas pasan de simples chatbots a copilotos: agentes autónomos que leen documentos, recuperan datos, invocan herramientas y se comunican con otros sistemas de forma recurrente, señaló Mark N. Vena, presidente y analista principal de SmartTech Research, una firma de consultoría tecnológica con sede en Las Vegas.
«Las empresas también están alimentando a los modelos con ventanas de contexto más amplias y más material no estructurado; a menudo envían la misma información de fondo con cada solicitud y pagan por procesarla de nuevo», comentó.
Sin embargo, señaló que la factura del modelo es solo la punta del iceberg, ya que las empresas también deben limpiar y organizar datos, integrar sistemas heredados, evaluar la calidad de los resultados, supervisar el uso, aplicar políticas de seguridad y mantener múltiples plataformas de IA funcionando en conjunto.
«Los datos mal definidos y la terminología empresarial inconsistente generan una deuda semántica que obliga a los modelos a procesar más información y a los empleados a dedicar más tiempo a corregir respuestas, resolver conflictos y mantener complejos flujos de trabajo de recuperación de datos», agregó.
Bihag Karnani, gerente sénior de productos en Google, explicó que las organizaciones pueden haber invertido meses, si no años, en descubrir que sus datos internos están en un estado mucho peor del que pensaban inicialmente.
«Sus datos internos pueden presentar inconsistencias estructurales en todo el sistema, y se requeriría una cantidad considerable de tiempo para limpiar y transformar estos datos a fin de que sirvan como contexto», declaró. «Cada hora que un equipo de ingenieros dedica a preparar los datos para los LLM (modelos de lenguaje de gran tamaño) representa un costo de IA que no aparece en la factura de gastos del modelo».
«La deuda semántica también puede suponer un gasto elevado», añadió. «Cuando distintos departamentos de una organización utilizan términos, taxonomías y definiciones diferentes para un mismo concepto, el modelo recibe información contextual contradictoria o confusa, lo que repercute negativamente en la calidad de los resultados», señaló.
«Solucionar la deuda semántica requiere un trabajo de alineación organizacional, no técnico», continuó, «y suele subestimarse».
La IA pone de manifiesto la complejidad organizacional.
Rob Enderle, presidente y analista principal de Enderle Group —una firma de servicios de asesoría con sede en Bend, Oregón—, señaló que un error crítico en la planificación de la IA empresarial es tratar los datos no estructurados como una entrada de conexión inmediata (“plug-and-play”) para los LLM.
«Indexar repositorios masivos de archivos no estructurados directamente en bases de datos vectoriales para RAG (Generación Aumentada por Recuperación) provoca una saturación de contexto, donde los modelos ingieren continuamente información de poco valor, duplicada o irrelevante», explicó.
«Para optimizar la rentabilidad a largo plazo, las organizaciones deberían implementar un proceso previo a la ingesta que limpie, resuma y estructure los datos sin procesar antes de que lleguen al modelo», aconsejó. «Invertir inicialmente en el análisis determinista de datos y en capas semánticas genera un rendimiento compuesto: reduce permanentemente el consumo de “tokens” por consulta, disminuye el ruido en la recuperación de información y aumenta considerablemente la precisión de las respuestas del modelo».
Parker Johnston, CTO de campo especializado en agentes de IA en Insight Enterprises —una empresa integradora de soluciones con sede en Tempe, Arizona—, coincidió en que las organizaciones deben realizar las tareas de descubrimiento y preparación de datos antes de escalar, ya que el límite de lo que pueden hacer los agentes viene determinado por la base sobre la que se sustentan.
«Es necesario comprender qué datos se poseen, quién tiene acceso a ellos y qué sistemas merece la pena conectar», afirmó. «De lo contrario, terminas pagando tarifas elevadas para que un agente increíblemente capaz tenga que lidiar con datos duplicados, mal gestionados o irrelevantes».
«La verdadera oportunidad no reside simplemente en reducir el coste de los *tokens*», continuó. «Consiste en crear un entorno donde puedas delegar progresivamente más carga de trabajo a la IA, confiando en que tanto sus capacidades como la inversión realizada se orientan hacia objetivos realmente importantes».
Los costes asociados a los LLM suelen reflejar la complejidad organizativa, añadió Dustin Engel, cofundador y consultor principal de Elegant Disruption, una firma de consultoría con sede en Filadelfia especializada en estrategia e IA.
«La falta de una propiedad clara, los procesos incoherentes, el conocimiento disperso y años de contenido no estructurado salen a la luz rápidamente en cuanto la IA se integra en el flujo de trabajo», declaró. «La factura del modelo es el reflejo de todo ello».
«La IA puede hacer que la información desorganizada resulte más útil, pero solo si la empresa invierte también en estructura, gobernanza y un mejor diseño operativo», advirtió. «De lo contrario, estarás pagando a un modelo para que sortee problemas que deberían haberse resuelto en etapas anteriores del proceso».
«Trata la información como una infraestructura y evalúa la IA en función del valor que genera, no del volumen de uso que produce», afirmó.
