Together AI está revolucionando la forma en que se optimiza el código GPU que ejecuta su infraestructura de inferencia, empleando agentes de inteligencia artificial para automatizar el ajuste del rendimiento, una labor que antes requería días o semanas de trabajo manual por parte de ingenieros.
Esta innovación se materializa en Together Compiler, el sistema presentado recientemente que genera, prueba y perfecciona núcleos GPU sin necesidad de supervisión en cada experimento. Señalan desde Together AI que esta plataforma puede entregar mejoras rápidamente, incluso de la noche a la mañana.
Si bien el proceso de optimización es autónomo, la compañía subraya la importancia de la participación humana en la fase final: la evaluación y despliegue de los cambios requieren la aprobación de un ingeniero antes de ser implementados en producción. 
«El ciclo de optimización es autónomo. Sin embargo, las evaluaciones finales y el proceso de despliegue deben ser iniciados por una persona que revisa los cambios antes de su integración en producción.»
El reto de mantener al día el código GPU ante la avalancha de nuevos modelos de IA
La velocidad a la que aparecen nuevos modelos de inteligencia artificial complica la tarea de mantener optimizada la infraestructura de inferencia. Cada modelo demanda requisitos específicos, y el código GPU afinado para una tarea concreta puede quedar obsoleto para otro tipo de carga de trabajo.
Together AI explica que el 80 % del tráfico de su OpenRouter proviene de modelos lanzados en los últimos tres meses, lo que obliga a los ingenieros a trabajar constantemente en ajustes. Ahora, con Together Compiler, gran parte de ese esfuerzo se automatiza mediante múltiples agentes que ejecutan pruebas simultáneas, compartiendo resultados para orientar iteraciones sucesivas.
Pruebas más rápidas y un mayor volumen de experimentos
Una de las mejoras técnicas más destacadas es la reducción del tiempo de inicio para las pruebas. En lugar de reiniciar la máquina de inferencia ante cada cambio en el código, Together Compiler mantiene la instancia activa y carga las nuevas versiones, disminuyendo el tiempo de inicialización de 467 segundos a tan solo nueve.
«En vez de reiniciar el motor de inferencia con cada modificación de código, Together Compiler lo mantiene en funcionamiento y carga el código actualizado.»
El significado del aumento de 252 veces en el número de experimentos
Together AI afirma que su sistema ejecuta 252 veces más experimentos de optimización que otras plataformas basadas en agentes. Para validar esta cifra, compararon Together Compiler con el sistema RSI Inference Bench de Apple usando la misma carga de trabajo y hardware, variando solamente la estrategia de optimización.
Importante destacar que esta cifra no alude a una mejora directa en la velocidad de los modelos, sino a la capacidad multiplicada para realizar pruebas de optimización de forma paralela y eficiente.
De forma independiente, la empresa reporta mejoras en el rendimiento de hasta 2,6 veces en el throughput de inferencia en comparación con benchmarks publicados; sin embargo, estos resultados varían según el modelo y el hardware utilizados, y aún no han sido corroborados por terceros.
Con más experimentos y cada uno más rápido, Together Compiler consigue resultados que antes tomaban semanas de trabajo manual por parte de ingenieros, pero ahora los agentes pueden lograr en cuestión de horas o durante la noche.
Mejor rendimiento al mismo coste para los usuarios
Aunque la optimización acelere la inferencia, no implica necesariamente una bajada directa en los precios para los clientes. Together AI confirma que Together Compiler mejora la eficiencia de su propia infraestructura, de manera que los clientes obtienen un mejor rendimiento por el mismo coste, pero no una reducción de precios.
«Por el mismo coste económico, los clientes obtendrán un mejor rendimiento.»
Esta mejora permite a los desarrolladores aprovechar mejor sus GPUs, pero no se traduce automáticamente en tarifas inferiores por token procesado. La compañía aclara que los beneficios son principalmente internos, buscando maximizar la eficiencia operativa.
Actualmente, Together AI asegura que su compilador atiende ya a trillones de tokens procesados diariamente, subrayando cómo los agentes de codificación están dejando atrás las tareas tradicionales de escritura de código para adentrarse en la optimización avanzada del rendimiento GPU. No obstante, los ingenieros mantienen un rol fundamental revisando los avances que estas inteligencias artificiales logran en cuestión de horas.
