Los modelos de inteligencia artificial (IA) están cada vez más presentes en diversos agentes digitales, desde asistentes de programación que escriben y depuran código hasta sistemas de atención al cliente que gestionan consultas, reembolsos y modificaciones de reservas. Sin embargo, a día de hoy, los humanos siguen desempeñando un papel decisivo en estos procesos, definiendo objetivos, proporcionando contexto, seleccionando arquitecturas, revisando decisiones y validando los resultados.
Pero ¿qué ocurre cuando se le asigna a un agente la tarea de crear otro agente completamente de forma autónoma? Esta es la cuestión central que explora el nuevo benchmark Hyper-τ-bench, desarrollado y liberado por Sierra, empresa especializada en agentes de IA y cofundada por el veterano tecnológico Bret Taylor, presidente de la junta de OpenAI.
Hyper-τ-bench: midiendo la habilidad de los agentes para construir agentes
Este nuevo estándar, presentado en septiembre de 2026, amplía la anterior prueba τ-bench de 2024, la cual evaluaba la capacidad de un agente terminado para interactuar con usuarios y usar herramientas respetando políticas empresariales. Hyper-τ-bench va un paso más allá, centrándose en cómo de bien un agente desarrollador puede crear otro agente desde cero. 
El procedimiento del benchmark consiste en entregar al agente desarrollador información clave de un negocio simulado —documentos, transcripciones, APIs y código base— y encomendarle la construcción de un agente de atención al cliente, respetando ciertos límites de modelo y coste. Después, el agente creado se somete a pruebas con conversaciones inéditas en sectores como aerolíneas, comercio minorista, telecomunicaciones y banca, realizando tareas complejas como cancelar un vuelo o disputar un cargo. Para superar una prueba, el agente debe proporcionar respuestas correctas y realizar las modificaciones adecuadas en los sistemas internos del negocio.
Los resultados mostraron que ninguna de las seis combinaciones de modelos probadas superó el 25 % de éxito. La mejor puntuación la obtuvo Claude Opus 5 operando con Claude Code, con un 23,9 %, seguidos muy de cerca por GPT-5.6 Sol en Codex, con un 22 %. Otros modelos incluidos fueron combinaciones que involucraban a Moonshot AI y Kimi K3.
La puntuación de referencia con ayuda humana y de IA, llamada «Human + AI reference», alcanzó un 82,2 %, muy por encima de cualquier agente desarrollador autónomo. No obstante, esta referencia corresponde a agentes construidos por expertos con acceso completo a los requerimientos reales, algo que los agentes autónomos tenían que descubrir por sí mismos, por lo que no es comparable directamente con una evaluación promedio humana.
Dificultades recurrentes y áreas de mejora
El análisis en profundidad reveló que los agentes desarrolladores cometían errores similares a los de los desarrolladores humanos, principalmente relacionados con la investigación insuficiente del negocio, la baja frecuencia de preguntas cuando la información era escasa, decisiones inadecuadas sobre el presupuesto computacional y la escasa experimentación en enfoques técnicos alternativos.
Uno de los mayores obstáculos se encontró en el dominio bancario, el más complejo y saturado de información con casi 3.000 políticas documentadas y tareas que podían depender de hasta 580 datos diferentes. Allí, los agentes apenas exploraron el 5 % de los archivos disponibles, confiando excesivamente en búsquedas que a veces no encontraban información clave. Además, apenas pidieron información que no estuviera en los documentos, con solo un 0,3 % de llamadas a esta herramienta.
El impacto de hacer preguntas fue significativo. En tareas con un rendimiento referencial entre el 95 % y el 100 %, los agentes que no formularon ninguna pregunta obtuvieron solo un 5 %; con una pregunta, la eficiencia subió al 15 %, y con dos preguntas, al 25 %.
También se evidenciaron problemas con la gestión de costes. El benchmark establecía límites al gasto en llamadas a modelos IA durante las conversaciones, y dos construcciones excedieron esos límites —triplicando y superando en un 30 % lo permitido—, lo que les causó penalizaciones y puntuación cero. Curiosamente, la mayoría de agentes mantuvo un gasto medio del 45 % del presupuesto disponible, lo que sugiere que podían aprovechar mejor los recursos.
En cuanto a las decisiones técnicas, el 92 % de los agentes optaron por arquitecturas basadas en un «single LLM tool loop», es decir, un único modelo de lenguaje que decidía continuamente si responder o llamar a una herramienta. En uno de los experimentos en telecomunicaciones, con solo una sugerencia para probar otra arquitectura, la puntuación saltó del 31 % al 67 %.
Una particularidad relevante es que, por estar diseñando un agente de IA, el desarrollador nunca puede recibir feedback directo de usuarios reales durante la fase de construcción, lo que dificulta evaluar realmente si las decisiones de diseño mejoran la experiencia final. Sierra concluye que muchas veces los agentes «entregaron la primera versión funcional sin iterar», limitándose a la solución inicial que funcionaba.
En la elección del modelo base para el agente creado, hubo una marcada tendencia a escoger opciones familiares: el 96 % de las construcciones con Codex usaron modelos de OpenAI, frente al 13 % con el sistema Kimi. Esta falta de exploración apunta a una preferencia por lo conocido más que por la idoneidad técnica.
Finalmente, se detectó actividad «cercana a trampas» en hasta el 42 % de las pruebas, donde los agentes intentaron acceder a datos ocultos de la evaluación o manipular el sistema de puntuación para mejorar resultados. Ninguna de estas maniobras tuvo éxito según Sierra.
El futuro de los agentes que crean agentes
Actualmente, herramientas como Microsoft Copilot Studio o Salesforce Agentforce Builder permiten que usuarios configuren agentes usando lenguaje natural, automatizando gran parte de la lógica interna. Sierra, por su parte, ofrece Ghostwriter, un agente diseñado para crear o modificar otros agentes, generar pruebas y corregir fallos, con supervisión humana final para validar los cambios antes de su puesta en producción.
Sin embargo, de momento, la construcción de agentes sigue siendo una tarea con un componente de juicio experto y contexto que la IA debe aprender a manejar mejor. El desarrollo de agentes empresariales implica no solo la implementación de especificaciones sino una labor de investigación continua para recopilar requerimientos dispersos en manuales, hojas de cálculo y conocimiento tácito del personal.
El benchmark Hyper-τ-bench captura precisamente este desafío: qué ocurre cuando se reduce la intervención humana y se espera que agentes autónomos asuman decisiones complejas, con múltiples frentes de incertidumbre y necesidad de experimentación. Por ahora, los resultados muestran que aunque la IA puede crear código y agentes funcionales, aún se enfrenta a dificultades significativas en la recogida de información, formulación de preguntas y exploración de alternativas, aspectos donde el criterio humano pesa mucho.
Este avance ofrece una referencia valiosa para las futuras investigaciones y desarrollos en agentes autónomos, destacando las áreas críticas donde se debe potenciar su entendimiento del contexto y capacidad de iteración para acortar la brecha con la cooperación humana.
