El inversor Matt Turck, conocido por su amplio podcast en el ámbito tecnológico, calificó de «impresionante» el rendimiento de Astra, el modelo GPT-6 de OpenAI, en las pruebas del benchmark ARC-AGI. «Esto es increíble», destacó, refiriéndose especialmente al software que gestiona el modelo de forma nativa.
El ARC Prize evaluó a Astra con su sistema estándar, obteniendo un resultado del 62,7%. Sin embargo, al ejecutar el mismo modelo dentro del adaptador oficial de OpenAI, la puntuación se disparó hasta el 98,6%. El modelo nunca cambió; la mejora provino totalmente del entorno que lo acompaña, elevando en 36 puntos su desempeño. Además, el sistema de OpenAI fue más económico, con un coste aproximado de 17.332 dólares frente a los 26.098 dólares que supuso el sistema del ARC Prize.
Este sorprendente dato evidencia que la ingeniería del «harness» —el sistema que envuelve y gestiona la inteligencia artificial— adquiere un protagonismo similar al del propio modelo. No se trata solo del poder del modelo, sino de cómo se implementa y utiliza el software complementario. 
El benchmark evalúa el sistema completo, no solo el modelo
El ARC-AGI fue diseñado para resistir el escalado simple y masivo que suele engañar a otros benchmarks. Su última versión, ARC-AGI-3, lleva el reto un paso más allá al ubicar al modelo en entornos interactivos, sin instrucciones, sin objetivos explícitos y sin reglas definidas, calificando cómo aprende a operar eficazmente. Mientras los humanos alcanzaron un 100%, y Frontier AI apenas un 0,51%, Astra lideró la clasificación.
En un análisis reciente, la periodista Amanda Caswell subrayó que Astra empleó diferentes configuraciones en comparación con otros modelos durante el benchmark. El ARC Prize especifica que su «harness» estándar permite al modelo mantener notas seleccionadas, mientras que el adaptador de OpenAI preserva un estado de razonamiento interno comprimido que facilita continuar el proceso mental sin tener que reconstruirlo desde cero.
Esta diferencia explica por qué Astra, con el sistema de OpenAI, logró una eficiencia sustancialmente mayor en la resolución de problemas y a un coste inferior.
Comparativa de eficiencia y coste entre diferentes sistemas de ejecución
Al analizar distintos niveles de esfuerzo en el razonamiento, los datos muestran que en todos los casos el adaptador de OpenAI superó en puntuación y coste al «harness» del ARC Prize:
| Esfuerzo de razonamiento | ARC Prize (coste) | OpenAI Provider Adapter (coste) |
|---|---|---|
| Máximo | 62,7% ($26.098) | 98,6% ($17.332) |
| Muy alto | 59,3% ($37.317) | 98,4% ($18.147) |
| Alto | 54,8% ($40.705) | 99,9% ($18.817) |
| Medio | 38,6% ($48.090) | 98,4% ($19.285) |
| Bajo | 17,5% ($38.166) | 98,0% ($21.298) |
| Ninguno | 35,2% ($49.791) | 96,7% ($23.457) |
Incluso sin aplicar esfuerzo en el razonamiento, Astra logró un 96,7% con el sistema de OpenAI, frente al 62,7% alcanzado con máximo esfuerzo utilizando el sistema estándar de ARC Prize. La diferencia en resultados es abrumadora, demostrando el peso que tiene el entorno técnico sobre el rendimiento.
Además, en términos computacionales, el adaptador de OpenAI utilizó un 49% menos de tokens y fue aproximadamente 3,66 veces más rápido en los 167 escenarios analizados.
OpenAI ha hecho públicas las capacidades del adaptador, disponible mediante su Responses API, accesible para terceros. Sin embargo, no comercializa el sistema completo que logra esos resultados excepcionales.
Esto pone en perspectiva las declaraciones recientes de Greg Brockman, presidente de OpenAI, quien afirmó en un evento de prensa que «no es descabellado sentir que estamos ya en la era de la AGI (inteligencia general artificial)». Esta afirmación se basa en la actuación de un sistema completo y no en la capacidad únicamente del modelo subyacente. Como ha señalado el análisis de la publicación The New Stack, esta interpretación va más allá de lo que permite asegurar la evidencia actual.
El «harness» se convierte en el principal producto
En el campo de la programación, los modelos de vanguardia ya tienden a estar muy igualados. Según Artificial Analysis, índices como el Coding Agent Index miden a los modelos solo dentro de sus respectivos «harnesses». Por ejemplo, Astra entra en Codex con un índice de 67; Opus 5 y Fable 5 en Claude Code muestran valores similares, mientras que Fable 5.1 lidera con 70.
Los mayores laboratorios tecnológicos ya lo comprenden y comercializan el «harness» como un elemento por separado. En abril se documentó cómo Anthropic, OpenAI, Google y Microsoft distribuyen y facturan sus sistemas de gestión de agentes AI de maneras distintas. Por ejemplo, Anthropic cobra por hora de sesión además de tokens, OpenAI ofrece un SDK sin coste de ejecución, y Google y Microsoft facturan servicios complementarios como sesiones, memoria y ejecución de código.
Además, otros actores también han apostado por controlar la capa que maneja y enruta las interacciones entre modelos y desarrolladores. Stripe adquirió OpenRouter por 8.000 millones de dólares, que gestiona 10 billones de tokens diarios para diez millones de desarrolladores, evidenciando la relevancia de esta capa intermedia.
Nvidia también ha desarrollado su propio «harness». Recientemente se informó que, sin asistencia, Claude Opus 5 logró solo un 30,2% en el ARC-AGI-3, pero al funcionar dentro del sistema AVO de Nvidia con memoria persistente y supervisión programada, superó los 183 niveles en 25 entornos interactivamente. En este caso, se mejoraron simultáneamente múltiples variables del sistema, no solo una.
Nvidia lo resumió perfectamente: «La capacidad del modelo es clave, pero el sistema externo determina cómo se convierte esa capacidad en progreso autónomo sostenido».
La ingeniería del «harness», un área clave en IA
Estudios recientes han observado que el consumo de tokens puede variar hasta 70 veces entre distintos sistemas que usan el mismo modelo, debido a diferencias en la gestión de memoria caché y procesos de ejecución. No es el modelo el que explica estas enormes discrepancias, sino cómo se organiza y optimiza el entorno que lo rodea.
Esta labor implica decisiones técnicas comunes, como qué información debe retener el agente, cuáles debe olvidar, cuándo puede actuar autonomamente y cuándo debe consultar a un usuario. Un artículo publicado en este portal detalla estos aspectos para quienes desarrollan agentes inteligentes.
En conclusiones previas se ha argumentado que la elección del modelo era el principal talento necesario en IA, pero esta idea está cambiando. Con la convergencia actual en la calidad de los modelos, el peso se traslada más al desarrollo y perfeccionamiento del entorno y «harness» que los acompaña.
Dentro de un año, se prevé que los profesionales dedicados a la gestión y desarrollo de agentes inteligentes dedicarán menos tiempo a seleccionar modelos y más a construir sistemas eficientes que maximicen el potencial de esos modelos.
