En octubre de 2025, durante la conferencia P99, un evento online dedicado a desarrolladores de aplicaciones de alto rendimiento y baja latencia, Chip Huyen ofreció una ponencia esclarecedora sobre cómo reducir los costes asociados a la inferencia de modelos de inteligencia artificial sin recurrir a nuevo hardware.
Huyen, autora del libro AI Engineering y con experiencia previa en Nvidia, explicó que el entrenamiento de un modelo avanzado es un gasto único, mientras que la inferencia —la fase donde el modelo genera respuestas— implica costes recurrentes. Según sus cálculos, la proporción de costes computacionales entre entrenamiento e inferencia oscila entre 1:10 y 1:100, llegando a ser incluso mayor en los modelos de razonamiento, que consumen aún más tokens.
El problema, subrayó Huyen, radica en que «si la inferencia es demasiado cara, nunca se recupera la inversión realizada en el entrenamiento», lo que explicarían la proliferación de memes sobre la supuesta falta de rentabilidad de estos modelos punteros. Para afrontar esta problemática, Huyen se propuso investigar durante meses técnicas para optimizar la inferencia, condensando sus conocimientos en una charla de 30 minutos para la conferencia. 
Medir lo importante: latencias clave
Para evaluar la eficiencia de la inferencia, Huyen recomendó centrarse en métricas de latencia específicas:
- Tiempo hasta el primer token (TTFT): tiempo que tarda en mostrarse al usuario cualquier respuesta inicial.
- Tiempo por token generado (TPOT): tiempo medio entre la producción de tokens consecutivos, también llamado latencia inter-token.
- Latencia total (end-to-end): suma del TTFT más el TPOT multiplicado por el número de tokens generados menos uno.
Precisó que en los modelos de razonamiento, algunos tokens generados intermedios pueden no mostrarse al usuario final, por lo que el primer token que aparece podría no ser el primero realmente calculado. Por eso, a veces también se mide el «tiempo hasta publicar», relativo al momento cuando el usuario recibe el primer token visible.
Además, sugirió valorar «goodput» junto al throughput (rendimiento): mientras el throughput mide todas las peticiones procesadas, goodput contabiliza sólo aquellas que cumplen con los objetivos de latencia fijados. Por ejemplo, si una aplicación procesa 10 solicitudes por minuto pero solo 3 cumplen los objetivos de tiempo, el goodput refleja ese rendimiento real.
Tres vías para optimizar la inferencia en LLM
Según la ponente, la optimización de los servidores de inferencia puede abordarse desde tres frentes: el hardware, el modelo y el servicio de gestión de peticiones. Huyen descartó profundizar en el hardware, pues entendía que la mayoría no pueden modificarlo, y tampoco se centró en la solución obvia de añadir más máquinas (paralelismo de réplicas), debido a su coste y complejidad operativa.
De este modo, quedan como opciones prioritarias la optimización del modelo y la del servicio. Para elegir el camino adecuado, aconsejó considerar si se tiene acceso a los pesos del modelo o si se entrena o ajusta internamente; en ese caso, las optimizaciones sobre el modelo son idóneas. Si sólo se cuenta con el modelo tal cual para desplegarlo en una infraestructura propia, entonces hay que centrarse en optimizar el servicio de inferencia.
Optimización del modelo
Las técnicas analizadas que modifican directamente los pesos y parámetros del modelo incluyen:
- Cuantización: consiste en reducir la precisión con que se almacenan pesos y activaciones, pasando, por ejemplo, de 32 bits (4 bytes) a 8 bits (1 byte). Esto no sólo disminuye la memoria necesaria y el coste, sino que también acelera los cálculos, ya que operar sobre números de menor tamaño exige menos ciclos de cómputo. La penalización en calidad suele ser mínima, y se ha convertido en una práctica habitual en muchas compañías.
- Destilación: implica crear un modelo pequeño entrenado para imitar las respuestas de un modelo grande. Se generan preguntas simuladas y se entrena al modelo pequeño para que reproduzca las salidas del modelo original grande. Sin embargo, hay que prestar atención a las licencias, ya que algunos proveedores prohíben usar sus modelos para entrenar competidores.
Optimización del servicio
Estas técnicas no afectan al modelo, sino a cómo se gestionan y procesan las peticiones para maximizar eficiencia:
- Batching (agrupamiento de peticiones): procesar varias solicitudes de manera simultánea en un solo paso del modelo. Puede ser:
- Batching estático: se espera a que el grupo se llene para procesarlo, maximizando el uso del hardware pero aumentando latencia de las primeras solicitudes.
- Batching dinámico: se procesan las solicitudes tras un intervalo de tiempo fijo (como cada 15 ms), mejorando la latencia a costa de menor eficiencia.
- Batching continuo: permite que peticiones que terminan antes liberan espacio para procesar otras, evitando que solicitudes lentas retrasen a las rápidas. Es especialmente útil en modelos de lenguaje donde la duración de las respuestas varía drásticamente.
- Separar preprocesado y decodificación: distribuir el trabajo entre máquinas distintas para procesar la entrada en paralelo y generar la salida secuencialmente. Esto permite asignar recursos específicos para mejorar el tiempo hasta el primer token o el tiempo por token según se necesite.
- Paralelismo: dividir o copiar modelos entre máquinas para acelerar el procesamiento, ya sea replicando el modelo completo, dividiendo matrices grandes o segmentando el modelo por capas para procesar solicitudes en pipeline.
- Cacheo de prompts: reutilizar partes estables del input común a muchas solicitudes para evitar recalculaciones, reduciendo significativamente la latencia y el coste. Por ejemplo, en pruebas con herramientas open source, se han visto tasas de acierto en caché de hasta el 97%, lo que ha impulsado la viabilidad económica de sistemas avanzados como agentes de programación.
Evaluar proveedores de inferencia con criterio
Como cierre, Huyen alertó sobre la importancia de no fijarse exclusivamente en coste y latencia cuando se valora un proveedor de servicios de inferencia. Hay que comprobar también si las optimizaciones afectan negativamente a la calidad del modelo y si dicho servicio mantiene rendimientos parecidos en benchmarks estándar.
Un año después: ¿qué ha cambiado?
Transcurrido un año, las ideas de Huyen se mantienen vigentes. Muchas técnicas sobre cuantización y cacheo se han popularizado y están integradas en precios y servicios comerciales. El desarrollo de agentes con múltiples pasos y uso intensivo de herramientas ha acentuado la importancia de optimizar la inferencia, validando las previsiones sobre los modelos de razonamiento.
Además, las métricas clave mencionadas por Huyen, como tiempo al primer token, tiempo para publicar y goodput bajo objetivos de latencia, se han incorporado al lenguaje habitual de la ingeniería de IA y deben ser abordadas en profundidad para obtener servicios eficientes y rentables.
En la próxima edición P99 CONF 2026, Chip Huyen volverá a compartir sus nuevos enfoques y avances, invitando a los interesados a inscribirse para seguir de cerca las últimas tendencias en esta área crítica.
