En un escenario donde los aceleradores, como las GPUs, representan una de las partidas más significativas en los presupuestos de infraestructura, muchas organizaciones enfrentan la dificultad de operar estas costosas tecnologías sin suficiente visibilidad sobre su uso y eficiencia. Un solo clúster de entrenamiento puede funcionar durante días y su coste alcanzar millones de dólares. Para maximizar la utilización, estas herramientas se comparten entre múltiples equipos en clústeres comunes, pero en dichos entornos el equipo de plataformas suele desconocer quién está usando cada acelerador, si la carga de inferencia está generando resultados eficientes o qué componentes están generando gastos innecesarios.
Los problemas de rendimiento solo suelen detectarse cuando una ejecución falla o cuando llega una factura inesperadamente alta. La falta de registros detallados, como trazas de solicitudes, logs del kernel o métricas específicas de memoria de cada dispositivo, imposibilita localizar y reparar rápidamente un problema concreto en un acelerador. En muchos casos se opta por reiniciar instancias completas, desperdiciando recursos saludables y esperando a que se libere capacidad, un proceso ineficiente y costoso.
Para eliminar estas áreas de oscuridad, Amazon lanza en KubeCon North America 2026 una funcionalidad llamada Amazon CloudWatch accelerated compute insights. Esta solución proporciona una visión operativa unificada de todos los aceleradores que existen en una flota, identificando su estado, uso por equipo o carga de trabajo y, esencialmente, el coste de cualquier desperdicio asociado, hasta el nivel de cada dispositivo individual. 
Qué ofrece accelerated compute insights
Accelerated compute insights presenta un tablero central donde se muestra en tiempo real el uso, la salud y las incidencias de cada acelerador. Detecta fallos y cuellos de botella, calcula el impacto económico de dichos problemas y enlaza esos datos con las acciones recomendadas para solucionarlos, facilitando así la optimización del presupuesto destinado.
En el entorno de Amazon Elastic Kubernetes Service (Amazon EKS), esta herramienta soporta GPUs de NVIDIA, AWS Trainium y AWS Inferentia. Para facilitar la gestión, unifica las métricas provenientes de GPUs Nvidia e Inferentia bajo un esquema común, posibilitando a los equipos manejar distintas familias de aceleradores desde un único panel de control.
Visibilidad integral con contexto Kubernetes
Cada acelerador en un clúster EKS incorpora metadatos extraídos de Kubernetes, como el pod, espacio de nombres, nodo o etiquetas personalizadas que identifican equipos o aplicaciones. Así, se puede analizar la utilización tanto por equipo como por carga de trabajo en toda la flota.
Además, la herramienta detecta automáticamente GPUs particionadas con Multi-Instance GPU (MIG), mostrando uso y memoria para cada instancia de MIG, junto con el pod que la utiliza. También reconoce otros esquemas de particionamiento compatibles con Kubernetes Dynamic Resource Allocation (DRA) y time-slicing a partir de etiquetas del dispositivo, todo sin necesidad de configurar manualmente.
Identificación del despilfarro económico
Una de las aportaciones clave de accelerated compute insights es la correlación de telemetría en tiempo real con datos de precios de AWS y límites de cargas para revelar desperdicios financieros recuperables. Estos se detectan en tres ámbitos:
- Oportunidades de dimensionado adecuado, cuando un trabajo utiliza hardware más potente del necesario.
- Desajustes en la eficiencia de entrenamiento, reflejados en el bajo uso de núcleos tensoriales en comparación con la línea base histórica del trabajo.
- Inferencia por debajo de la capacidad del hardware, indicador de endpoints que procesan menos solicitudes de las posibles según la utilización del dispositivo.
Para cada hallazgo, la herramienta identifica la tarea o el nodo responsable, facilitando la identificación y resolución de problemas. Esto se logra gracias a la combinación de telemetría avanzada, límites de carga y datos de precios, que no está a disposición en herramientas tradicionales de monitorización basadas solo en métricas.
Es importante aclarar que accelerated compute insights es una herramienta operacional orientada a la optimización y no a la facturación exacta; para esta siguen vigentes AWS Cost Explorer y AWS Cost and Usage Report.
Corrección a nivel de dispositivo
Cuando un proceso de inferencia sufre una degradación en rendimiento o en la generación eficiente de tokens, esta solución permite identificar cuellos de botella y uso ineficiente del acelerador, gracias a la recopilación automatizada y correlación de métricas de rendimiento, trazas de solicitudes, registros y telemetría del acelerador.
Con capacidades de inteligencia artificial para análisis y solución de problemas, los usuarios pueden descubrir rápidamente las causas raíz, optimizar el rendimiento, disminuir la latencia de inferencia y mejorar la utilización sin afectar a cargas saludables.
El sistema diferencia distintos modos de fallo, proponiendo planes de acción específicos y fundamentados. Asimismo, es posible enviar señales a un agente AWS DevOps para investigaciones avanzadas; este agente combina telemetría, logs de CloudWatch, cambios recientes en infraestructura y manuales de procedimiento para ofrecer soluciones precisas, como reemplazo en caso de fallos de memoria persistentes o simplemente reinicios si el problema radica en controladores.
Los usuarios pueden aprobar las recomendaciones o conceder permisos para que ejecuciones automatizadas de remediaciones se realicen de forma segura mediante APIs AWS.
Funcionamiento en Amazon EKS
La recopilación de datos converge hacia la API de métricas de CloudWatch. NVIDIA GPUs son monitorizadas por el agente de CloudWatch y NVIDIA Exporter, que aportan métricas a nivel de dispositivo. La capa unificada de salud de aceleradores normaliza los datos de GPU e Inferentia, unificando las rutas de datos y mostrándolos en un único panel.
La arquitectura permite la integración con el complemento CloudWatch Observability o CloudWatch Omni para capturar métricas, logs y trazas de rendimiento específicas de cargas de trabajo de inferencia AI. Estos datos se almacenan de forma centralizada, facilitando el seguimiento del rendimiento y eficiencia sin necesidad de recurrir a herramientas múltiples.
Arranque rápido en EKS
Para comenzar, solo hay que instalar o actualizar el complemento CloudWatch Observability para EKS a la versión 7.0.1 o superior. Este módulo detectará automáticamente todos los dispositivos NVIDIA GPU y AWS Inferentia en el clúster y enviará datos OpenTelemetry sin requerir configuraciones complejas o agentes adicionales.
La instalación puede realizarse a través de herramientas comunes como eksctl, Helm o Terraform, proporcionando flexibilidad según la infraestructura empleada.
Aprovechamiento en CloudWatch Omni
Una vez que los datos están fluyendo, CloudWatch Omni ofrece una visualización centrada en aplicaciones donde las cargas de trabajo de inferencia se relacionan con los servicios y agentes AI que las invocan, mostrando la salud, uso y desperdicio de aceleradores ligado a cada carga.
Cuando un endpoint experimenta bajo rendimiento o retrasos en la generación de tokens, Omni facilita el rastreo hasta la carga, nodo o acelerador implicado, indicando si es necesario cambiar parámetros o corregir código, permitiendo resolver incidencias sin cambiar de herramientas.
Este enfoque beneficia a equipos de plataforma e infraestructura que requieren supervisar la distribución de recursos, capacidad o resumen entre cuentas, todo desde una única interfaz integral.
Integración en el ecosistema de observabilidad de Amazon EKS
Accelerated compute insights se suma a la plataforma de observabilidad de Amazon EKS desarrollada en 2025 y 2026, que incluye:
- OTel Container Insights, para métricas de infraestructura con hasta 150 etiquetas descriptivas y soporte PromQL.
- Monitoreo de rendimiento de aplicaciones, integrado por defecto en el complemento CloudWatch Observability para EKS.
- Container Network Observability, que aporta mapas de servicios, tablas de flujos y métricas de red.
- Patrones de observabilidad para cargas de agentes AI en EKS documentados para facilitar su gestión.
Con esta pila, los equipos pueden monitorizar desde el hardware acelerador hasta el rendimiento y la red, todo enriquecido con metadatos de Kubernetes y conectado a mecanismos automáticos de remediación.
Disponibilidad y primeros pasos
Amazon CloudWatch accelerated compute insights está disponible en todas las regiones donde CloudWatch Omni opera. Para sacar provecho a esta solución, los usuarios deben:
- Instalar o actualizar el complemento CloudWatch Observability para EKS a la versión más reciente.
- Acceder a CloudWatch Omni para visualizar cargas de inferencia y datos de estado y desperdicio por acelerador.
- Diagnosticar y optimizar directamente desde la consola, desde métricas generales hasta dispositivos específicos.
Esta nueva herramienta permite maximizar la inversión en aceleradores, reducir costos operativos y mejorar el rendimiento de aplicaciones AI con un control que antes resultaba imposible en entornos compartidos y complejos.
