No todas las empresas pueden ni deben desarrollar sus propios modelos de inteligencia artificial de vanguardia, pero sí que pueden y deberían personalizar el harness o armazón que controla cómo esos modelos interactúan con su entorno y ejecutan tareas específicas.
Este harness —que incluye elementos como los prompts del sistema, herramientas, memoria, reglas de verificación, políticas de ejecución, lógica de orquestación y procedimientos de recuperación ante fallos— es fundamental, ya que en muchas ocasiones los errores de los agentes no se deben al modelo base sino a esta capa de control.
El problema es que el diseño de estos armazones sigue siendo un proceso manual, basado en la intuición y la depuración ad hoc, sin un sistema de retroalimentación sistemático que permita ajustarlos conforme evolucionan los modelos de lenguaje y sus entornos. Esto vuelve el proceso costoso, lento y difícil de escalar frente a la rápida innovación en LLMs (modelos de lenguaje a gran escala).
Un nuevo enfoque: Self-Harness
Para abordar esta limitación, un equipo de investigadores del Laboratorio de Inteligencia Artificial de Shanghái ha desarrollado «Self-Harness», un paradigma en el que el propio agente con LLM es capaz de analizar sus fallos y proponer correcciones automáticas a su harness. Así, en lugar de depender exclusivamente de la intervención humana o de modelos externos más potentes —que pueden ser costosos o inaccesibles— el sistema se adapta continuamente mediante un ciclo iterativo de evaluación y mejora.
El proceso consta de tres fases clave:
- Detección de debilidades: El agente ejecuta diversas tareas registrando su ejecución y resultados. Analiza los casos fallidos para identificar patrones específicos de error inherentes al modelo o a la interacción.
- Propuesta de mejoras: Con esos patrones detectados, el agente genera modificaciones mínimas y específicas para el armazón, evitando cambios demasiado generales o amplios que puedan causar efectos adversos.
- Validación de propuestas: Cada cambio sugerido es evaluado mediante pruebas de regresión para garantizar que aumente el rendimiento sin generar nuevas regresiones. Solo las modificaciones aprobadas se integran en la nueva versión del harness.
Casos prácticos y resultados
Para validar el enfoque, los investigadores aplicaron Self-Harness en el benchmark Terminal-Bench-2.0, que evalúa la ejecución basada en herramientas y la gestión de errores en distintos modelos: MiniMax M2.5, Qwen3.5-35B-A3B y GLM-5. Empezaron con un harness muy básico basado en DeepAgent SDK, dejando fijos todos los demás elementos para aislar el impacto de la auto-mejora.
Los resultados fueron sobresalientes: las mejoras automáticas aumentaron la efectividad de los agentes entre un 33% y un 60% en tareas inéditas. Por ejemplo, MiniMax M2.5 corregía un problema en el que quedaba atrapado en bucles interminables explorando configuraciones de datos sin producir resultados, con una regla que limitaba las llamadas a herramientas a 50 antes de cambiar de estrategia.
Qwen-3.5, por su parte, modificado para evitar intentos repetidos inútiles tras errores de sobrescritura de archivos y para recrear automáticamente los elementos borrados o faltantes.
GLM-5 añadió reglas para mantener variables entorno como PATH entre comandos, limitar el consumo de cómputo externo y reparar chequeos de validez antes de finalizar tareas.
Limitaciones y aspectos a considerar
Aunque Self-Harness reduce la carga manual, la automatización implica un coste en recursos computacionales y tiempo, pues genera muchas propuestas que deben evaluarse rigurosamente en paralelo, aumentando el consumo de tokens y necesidades infraestructurales.
Además, su eficacia depende de contar con mecanismos de verificación estrictos y deterministas para validar cada cambio, aspecto crucial para evitar mejoras que en realidad empeoren el sistema. Por ello, Self-Harness es especialmente apto para entornos donde los fallos pueden medirse fácilmente, como tareas de programación, automatización de flujos internos o pipelines de datos DevOps.
No obstante, no es recomendable replicar este enfoque en ámbitos de alto riesgo o que requieran juicios subjetivos, como decisiones médicas, infraestructuras críticas o legales, donde el coste de un error es incalculable y la evaluación no es inmediata ni objetiva.
El futuro de la ingeniería de agentes IA
La llegada de agentes que se auto-mejoran no significa la desaparición de la figura humana, sino un cambio en su rol. En lugar de ajustar manualmente prompts o llamada a herramientas, los ingenieros pasarán a diseñar y supervisar los sistemas de retroalimentación para que los agentes evolucionen por sí mismos.
Según Hangfan Zhang, líder del proyecto, el rol del ingeniero se convierte así en el de arquitecto de feedback, gestionando un nivel de abstracción más alto. Aunque el alcance del harness evolucionará y se conectará a ambientes externos cada vez más complejos, mientras existan límites en la capacidad de evaluación humana, el aporte humano seguirá siendo esencial para entregar retroalimentación valiosa.