En el marco del anuncio de la octava generación de sus TPUs, Google introdujo TPU Sync, un nuevo sistema de código abierto orientado a acelerar la inferencia de inteligencia artificial. Este software aborda un desafío que se intensifica conforme crecen las ventanas de contexto en los modelos de IA: la transferencia eficiente de datos entre distintos tipos de memoria.
TPU Sync está especialmente diseñado para desarrolladores que operan con modelos de gran escala, incluyendo aquellos que manejan contextos de millones de tokens o trabajan con métodos basados en aprendizaje por refuerzo. Google afirma que, en algunas pruebas, el sistema logra reducir la latencia de transferencia de la caché KV y el tiempo hasta el primer token (TTFT) en más de un 90%.
Optimización en la jerarquía de memoria
El framework, desarrollado en C++, optimiza el movimiento de datos entre la memoria del acelerador, la memoria principal (DRAM del host), el almacenamiento y la red. Utiliza transferencias sin copia (zero-copy) y descriptores nativos de hardware PjRtBuffer para impedir copias innecesarias, maximizando la eficiencia. 
En términos de rendimiento, la combinación del ancho de banda de transferencia host a dispositivo y viceversa alcanzó los 223 GB/s por cada host Ironwood TPU, una cifra cercana al límite teórico de 256 GB/s que ofrece la interfaz PCIe Gen5.
Resultados destacados y matices
Según los benchmarks publicados por Google, mover las cachés KV del modelo Qwen3, con 235.000 millones de parámetros, pasó de tardar varios segundos a tan solo 230 milisegundos. Esto se traduce en una reducción del 60 % del tiempo medio hasta el primer token cuando la demanda de solicitudes es baja. Para un modelo aún mayor, de 480.000 millones de parámetros, la reducción llega hasta un 90 %.
Similares mejoras se observaron al probar la caché de prefijos con contextos de 64.000 tokens: el TTFT disminuyó hasta un 90 %, el rendimiento (throughput) creció en más de un 50 % y la latencia entre tokens en el percentil 99 se redujo un 30 %. Sin embargo, Google advierte que los avances reales dependerán del tipo de carga de trabajo, el grado de reutilización de datos almacenados en caché y la capacidad de la red disponible.
Desde la firma de análisis SemiAnalysis se contextualizan estas cifras apuntando que, hasta ahora, el servicio externo de TPU carecía de la infraestructura necesaria para separar eficazmente las cargas de trabajo de prellenado y decodificación.
El espacio donde Nvidia aún domina
Aunque TPU Sync representa un avance notable para Google, Nvidia mantiene ventajas en ciertas cargas de trabajo. El análisis de SemiAnalysis con la herramienta InferenceX indica que las plataformas GB200 y GB300 NVL72 de Nvidia lideran en algunos aspectos del rendimiento en entornos de servicio desagregado. No obstante, falta una comparación directa con una configuración TPU v7 completamente optimizada para una evaluación concluyente.
Un paso hacia la competencia con CUDA
Google facilita la integración de TPU Sync con las herramientas ya empleadas por los desarrolladores. Se ha lanzado simultáneamente con TorchTPU, que soporta los motores de inferencia open source vLLM y SGLang, ampliamente usados en la industria. Esto significa que quienes usen estos frameworks podrán ejecutar cargas desagregadas en TPUs sin reconstruir su infraestructura desde cero.
Esta iniciativa encaja con la estrategia global de Google para hacer sus chips personalizados más competitivos, apostando por reducir costes de inferencia mediante mejoras tanto hardware —incluyendo el diseño de chips basados en la arquitectura Gemini— como en resolver cuellos de botella con soluciones software.
Al hacerlo más accesible y compatible con marcos familiares, Google espera atraer a más desarrolladores que hoy por defecto optan por Nvidia y su ecosistema CUDA. Sin embargo, si podrá igualar el rendimiento de Nvidia en inferencia sigue siendo una incógnita.
Estado actual y limitaciones
TPU Sync todavía no está listo para implementaciones de producción generalizadas. En su repositorio de GitHub, Google advierte que las API están en desarrollo y recomienda usar versiones específicas verificadas para evitar problemas. Además, solo se ofrece soporte para Cloud TPU v7x y v6e, y requiere versiones concretas de framework JAX y PyTorch.
Estos factores suponen un freno para su adopción inmediata, pero apuntan a un futuro prometedor en el que las TPUs de Google puedan competir más decididamente en el terreno de la inferencia de inteligencia artificial.
