Cuando las aplicaciones empresariales de inteligencia artificial (IA) alcanzan una escala considerable, suelen toparse con un muro que muchas veces se interpreta inicialmente como un problema de facturación debido al aumento descontrolado de las facturas mensuales por uso de API. Sin embargo, abordar el consumo de tokens simplemente desde una perspectiva económica implica una visión errónea sobre el funcionamiento real de los grandes modelos de lenguaje (LLMs) en producción. La optimización de tokens va mucho más allá de una cuestión contable; es un reto de sistemas distribuidos y eficiencia en el aprovechamiento del hardware.
En esta guía, examinamos los desafíos y soluciones a los que se enfrentan dos sistemas representativos: Concierge, un agente de atención al cliente que requiere respuesta rápida y síncrona, y Pathfinder, un agente autónomo y asíncrono enfocado en la depuración continua de integración (CI) en varios pasos. Ambos sufrieron cuellos de botella autoregresivos al crecer, pero lograron superarlos con técnicas específicas.
Por qué pagar por tokens no equivale a pagar por palabras
Es importante comprender que un “token” no equivale directamente a una palabra. Los principales proveedores de LLM emplean una codificación llamada byte-pair encoding (BPE), que descompone el texto en subunidades menores que pueden dividir palabras y signos de puntuación. En términos prácticos, un token representa aproximadamente 4 caracteres o tres cuartos de palabra en inglés estándar. 
Además, la estructura de precios distingue entre tokens de entrada y tokens de salida, siendo los segundos hasta 4 o 5 veces más costosos. Por ejemplo, un modelo de nivel medio puede costar alrededor de 3 dólares por millón de tokens de entrada y 15 dólares por millón de tokens de salida.
El impuesto cuadrático de la historia
Las APIs de los proveedores de LLM son completamente sin estado: para simular que el modelo “recuerda” eventos previos, es necesario reenviar la totalidad del historial y la entrada en cada llamada. Esto implica una doble facturación porque las salidas previas del modelo se vuelven a cobrar como entradas en sucesivas invocaciones, generando un crecimiento cuadrático en tokens utilizados y en los costes.
Formalmente, si S representa el contexto estático, u la entrada en cada paso, y r la respuesta del modelo, el coste de tokens en un turno k se acumula según la fórmula que considera toda la historia previa, con un escalado O(N²) conforme crecen las iteraciones N del proceso. Este fenómeno es responsable del aumento exponencial tanto en coste como en latencia.
| Variable | Concierge (sistema de chat) | Pathfinder (agente autónomo) |
|---|---|---|
| Contexto estático (S) | 3.100 tokens (políticas completas y directrices) | 1.200 tokens (definiciones de herramientas, datos de entorno CI) |
| Datos de entrada (u) | 80 tokens (respuestas breves de chat) | 900 tokens (registros y archivos extensos) |
| Respuesta (r) | 220 tokens (respuestas comerciales educadas) | 300 tokens (monólogo interno, argumentos JSON) |
| Pasos (N) | 10 turnos (media en hilo de soporte) | 15 pasos (media en bucle de depuración) |
El cálculo del total de tokens consumidos arrojó:
- Concierge: 45.300 tokens por ticket de 10 turnos.
- Pathfinder: 150.000 tokens por ciclo de 15 pasos.
Con un escenario extremo, Pathfinder podría disparar el consumo hasta 570.000 tokens si la sesión se alarga a 30 pasos.
Cómo resolverlo
Mejorar cada llamada individual
Higiene en el prompt: Se eliminaron textos estáticos codificados que se reintroducían en cada llamada, sustituyéndolos por una inyección dinámica. Concierge redujo el prompt de 3.100 a 380 tokens mediante extracción solo de fragmentos relevantes. Pathfinder aplicó compresión automática con LLMLingua-2 para reducir los voluminosos logs en un 66% sin perder precisión.
Evitar reintentos con formato estructurado: El formato natural para instrucciones abiertas generaba errores y reintentos costosos. Se implementó validación estricta con esquemas pydantic que bajaron fallos a menos del 0,5%, eliminando cuellos de latencia.
Limitar tokens de salida: Se restringió la generación de tokens innecesarios usando sesgos de decodificación y herramientas con esquemas enumerados.
Gestión del estado
Al tratarse de modelos sin estado, se introdujeron puntos de caché para reutilizar fragmentos históricos estables. Esto redujo costes de entrada en Concierge un 70% y en Pathfinder un 76%, aprovechando descuentos por caché.
Caché semántica
Se identificaron duplicados semánticos en el servicio de atención al cliente (34%), activando una capa cache basada en similitud vectorial usando Redis. Esto permitió responder en menos de 50 milisegundos cuando la consulta ya estaba en caché.
Para casos con información sensible, se segmentó la caché en global y por usuario para evitar fugas y contaminación, validando rigurosamente cada entrada para minimizar riesgos.
Compactación del contexto
Se evitó el crecimiento indefinido del historial manteniendo solo los turnos más recientes y resumiendo los antiguos en bloques compendiados con modelos especializados, transformando la curva de costes explosiva en una ventana limitada y predecible.
Modelos en cascada
Se evitó el uso sistemático de modelos frontales costosos direccionando tareas simples a modelos más económicos mediante un enrutamiento interno con LiteLLM. Esta estrategia redujo un 70% la carga sobre el modelo más avanzado y recortó a la mitad los costes de Pathfinder.
Perspectivas futuras
Los casos de Concierge y Pathfinder confirman que la escalabilidad en IA industrial no proviene solo del modelo lingüístico, sino de la arquitectura completa que lo rodea. La optimización efectiva de tokens implica maximizar la eficiencia global del sistema, comprimir y organizar la información, prevenir redundancias y garantizar respuestas rápidas y fiables.
En la era de la IA generativa, la eficiencia no solo radica en reducir costos, sino en la capacidad para empaquetar la información con densidad, velocidad y precisión. Las estrategias aquí presentadas forman la base para construir sistemas de inteligencia artificial robustos, resistentes y escalables a nivel empresarial.
