Las métricas de referencia o benchmarks suelen mostrar el rendimiento óptimo de un modelo abierto y orientar a los ingenieros en su elección. Sin embargo, estos datos no reflejan la realidad en producción, donde el modelo debe funcionar de manera constante y eficiente, teniendo en cuenta factores como la calidad de la información recibida y la precisión en tareas complejas y a largo plazo.
Ryan Hanrui Wang, vicepresidente senior de IA aplicada en Nebius, proveedor de servicios de IA en la nube, explica a The New Stack que evaluar un modelo abierto solo con benchmarks públicos es insuficiente. La compañía, con sede en Ámsterdam, combina estas métricas con otras propias definidas junto a sus clientes para asegurarse de que los resultados de inferencia cumplen con los objetivos empresariales. Wang lideró previamente Eigen AI, startup especializada en la optimización de inferencia, que fue adquirida por Nebius en una operación valorada en unos 643 millones de dólares.
Wang señala que muchas veces los clientes tienen sus propios benchmarks relacionados con sus flujos de trabajo específicos y trazas de sus agentes de IA, y colaborar estrechamente con ellos permite definir criterios adecuados que reflejan la realidad del entorno productivo. Además, alerta sobre el riesgo de que los benchmarks públicos no cubran tareas multidominio frecuentes en producción, por lo que pueden no alinear correctamente las llamadas de inferencia con sus costes reales. Esto es especialmente crítico en modelos que aprenden en contexto y requieren optimización fina del proceso. 
Para elegir un modelo abierto adecuado, Wang recomienda no detenerse solo en la selección del modelo en sí, sino analizar la cadena completa de inferencia. Así, según las necesidades, se puede optar por una pila de modelos más flexible y económica o seleccionar un modelo de frontera para obtener mayor precisión.
En escenarios donde el coste es una prioridad, Nebius prueba modelos abiertos como Kimi y DeepSeek, así como versiones ligeras denominadas “flash”, para evaluar si alcanzan el nivel de precisión necesario y determinar si requieren ajuste adicional. En cambio, para quienes buscan calidad superior, normalmente se eligen dos o tres modelos abiertos grandes y se realiza un trabajo de fine-tuning que mejore la precisión, especialmente en tareas con contexto largo y entradas almacenadas en caché.
Inferencia y ajuste post-entrenamiento
Tras la selección, la organización utiliza sus propios datos para mejorar la precisión y adecuar el modelo a las tareas concretas, una fase conocida como ajuste post-entrenamiento. Paralelamente, se optimizan la capa de servicio, la cuantización, la ejecución por lotes, el almacenamiento en caché y la optimización de kernels para acelerar la inferencia.
El desarrollo de sistemas de caché eficientes es esencial, ya que «maximizar la tasa de aciertos del caché evita recomputar entradas y reduce costes», destaca Wang. Otro aspecto crítico es el throughput, la cantidad de tokens generados en un tiempo determinado, que debe equilibrarse frente a la interactividad o velocidad percibida por el usuario final.
Una adecuada gestión de la concurrencia asegura un uso eficiente del modelo abierto, ya que un bajo aprovechamiento eleva el coste por token, mientras que un exceso puede ralentizar la respuesta por usuario. Además, no basta con mirar tiempos promedio; métricas como P95 y P99, que reflejan el tiempo de espera máximo para el 95% o 99% de las solicitudes, son cruciales para garantizar una experiencia óptima, especialmente considerando que algunos clientes exigen un tiempo de respuesta inferior a cinco segundos para el primer token.
Modelado orientado a la precisión
La precisión obtenida en benchmarks puede no coincidir con la requerida en producción. Por ejemplo, un test que evalúa capacidad matemática no tiene sentido si el agente de IA está destinado a atención al cliente, donde la inteligencia emocional es vital. Por ello, Wang advierte del desajuste frecuente entre métricas y aplicaciones reales.
En cuanto al coste por tarea exitosa, recuerda que tokens baratos no compensan si el modelo es inexacto. Es fundamental considerar todo el proceso que realizará la IA para seleccionar un modelo adecuado en tamaño y capacidad al caso de uso.
Como ejemplo, Wang menciona un agente especializado desarrollado por Nebius para soporte al cliente, donde optimizaron un modelo pequeño reuniendo 6.000 trazas y lograron mejorar la precisión un 11% mientras reducían un 22% las llamadas a herramientas, mostrando que no siempre un modelo mayor implica mejores resultados.
El crecimiento del tamaño de los modelos ofrece retornos decrecientes en precisión. Para tareas como soporte al cliente, un modelo con alrededor de 10.000 millones de parámetros puede ser suficiente, mientras que escalar a 100.000 millones o incluso un billón aporta escasas mejoras. La clave está en encontrar ese punto óptimo.
La práctica habitual es usar modelos grandes como referencia y luego ajustar con datos propios para hallar el equilibrio ideal entre tamaño y precisión. Para tareas complejas, una estrategia consiste en descomponer el problema en subtareas más sencillas y utilizar modelos menores para cada una, en colaboración con el cliente, siguiendo un enfoque de división del trabajo inspirado en el economista Adam Smith.
Este método refleja la madurez actual de la ingeniería en IA: tras una etapa inicial centrada en lograr modelos cada vez más grandes, se orienta ahora hacia la excelencia en resultados y eficiencia, buscando socios que comprendan cómo alcanzar estos objetivos. Dependiendo del caso, la solución puede ser un modelo más grande o un desarrollo pequeño y especializado.
