Meta y la Universidad de Illinois enseñan a una IA de 8.000 millones de parámetros a igualar el rendimiento de Claude Opus 4.5 sin su elevado coste

Investigadores de Meta AI y la Universidad de Illinois desarrollan EvoHarness-RL, un marco que permite a modelos más pequeños gestionar tareas complejas y prolongadas con eficiencia y autonomía, igualando el desempeño de sistemas de IA punteros pero costosos.

Imagina un agente de inteligencia artificial encargado de una tarea empresarial compleja como la migración masiva de registros de clientes desde un CRM obsoleto a una base de datos en la nube. Un reto así, que puede durar horas, no puede depender solamente de la memoria interna inmediata del modelo; requiere apoyarse en una capa de ejecución conocida como «harness» o arnés.

Este arnés aporta retroalimentación en tiempo real, como los registros del servidor, para que el agente mantenga una comprensión precisa de las conexiones dinámicas con las APIs implicadas. Además, ofrece mecanismos para gestionar el progreso de subobjetivos, asegurando que no se dupliquen procesos o datos, y herramientas para recuperarse ante errores inesperados, como rechazos por límites estrictos de tasa en la API.

Tradicionalmente, para guiar a los agentes en el uso de estas herramientas, los desarrolladores escriben reglas y guías rígidas en forma de scripts paso a paso. Esto limita la autonomía real del agente, que simplemente sigue instrucciones sin sopesar por sí mismo los costes o beneficios de sus acciones.

Patrocinado

Para superar esta limitación, los investigadores de Meta AI y la Universidad de Illinois Urbana–Champaign presentan EvoHarness-RL, un innovador marco que añade una capa de abstracción al arnés y entrena al modelo para decidir cuándo y cómo debe leer, actualizar o consolidar la información procedente de su entorno.

En escenarios con objetivos a largo plazo, el modo en que los agentes leen y procesan datos es crucial para el éxito. Deben actualizar su comprensión sobre el entorno, rastrear el avance en los subobjetivos, recuperarse de fallos y reutilizar aprendizajes previos, apoyándose para ello en el arnés.

Propuestas anteriores, como Harness-1, resolvían parte del problema acumulando experiencias para crear memorias procedimentales reutilizables. No obstante, solían separar la gestión del aprendizaje a largo plazo del seguimiento en tiempo real del estado activo, sin entrenar al agente sobre cómo manejar su realidad inmediata y los pasos activos en la tarea.

Xuying Ning, coautora del estudio, explicó a VentureBeat que las estructuras rígidas y la lógica manual consumen excesivos recursos de ingeniería. «El arnés óptimo varía en función del modelo,» afirmó. «Cada actualización del modelo requiere reconfigurar prompts, diseñar memorias o ajustar permisos, lo que conlleva ciclos largos de ajustes.» Añadió que los sistemas que solo almacenan más contexto sin discriminar pueden perjudicar el razonamiento, al incluir información obsoleta o irrelevante.

EvoHarness-RL: espacio unificado para creencias, progreso y experiencia

Para superar estas limitaciones, EvoHarness-RL enseña al agente a construir un espacio estructurado desde datos dispersos y decidir cuándo consultar el estado externo durante procesos complejos.

El marco unifica los sistemas de apoyo del agente bajo una interfaz llamada «Belief, Progress, and Experience» (BPE), que categoriza sus necesidades externas en tres áreas funcionales:

  • Belief (Creencias): Mantener una lectura precisa del entorno actual.
  • Progress (Progreso): Gestionar subobjetivos finalizados y pendientes.
  • Experience (Experiencia): Reutilizar conocimientos históricos de tareas previas.

En lugar de APIs complejas y específicas, la IA interactúa con este panel limpio mediante cuatro metaacciones compactas: track (seguir), commit (confirmar), recall (recordar) y note (anotar). Así rastrea el entorno, actualiza el flujo de trabajo, recupera estrategias pasadas y guarda nuevos aprendizajes.

Estos estados se aplican a múltiples sectores empresariales. En desarrollo de software, «Belief» representa el conocimiento actual del repositorio; «Progress» controla las tareas hechas y por hacer, y «Experience» acumula lecciones útiles para decisiones futuras. En finanzas, durante auditorías, «Belief» refleja normativas y evidencias, «Progress» el estado de verificaciones y «Experience» ayuda a detectar patrones o alertar de incidencias.

Según Ning, esta integración evita que el agente pierda el hilo del trabajo o repita fallos anteriores.

El entrenamiento del agente se realiza en dos fases: primero, un ajuste supervisado para que el modelo aprenda a extraer y estructurar datos útiles en el marco BPE; segundo, un aprendizaje por refuerzo «consciente de costes» que enseña al agente a valorar cuándo consultar su estado externo, equilibrando precisión y eficiencia del cómputo.

EvoHarness-RL en acción

Para verificar su eficacia, los investigadores probaron EvoHarness-RL con el benchmark ALFWorld, un entorno textual que evalúa tareas secuenciales y el seguimiento del estado.

Partieron del modelo base Qwen3-8B para entrenarlo y compararon su desempeño con tres modelos punteros del mercado (Claude Opus 4.5, GPT-4.1 y GPT-5), agentes con herramientas estáticas (ReAct, ExpeL, ReasoningBank) y métodos entrenables avanzados (GRPO, SkillOS, SkillRL).

Los resultados fueron destacables: con EvoHarness-RL, el Qwen3-8B alcanzó un 96,9% de éxito, mejorando en 49 puntos porcentuales respecto a su base con ReAct. Superó también a SkillRL (89,9%) y SkillOS (80,2%), aproximándose al rendimiento del modelo caro Claude Opus 4.5, que logró un 96,4% sin modificaciones.

Además, el marco BPE mostró mejoras notables en todos los modelos, incluso sin una fase extensa de refuerzo. Equipar modelos congelados con BPE aumentó su tasa de éxito: GPT-4.1 subió 22,1 puntos y GPT-5, 25,7 puntos.

Durante el entrenamiento, se observó un fenómeno llamado «harness annealing» o envejecimiento progresivo del arnés. Al inicio, el agente consultaba intensamente sus herramientas de experiencia y progreso, pero con la práctica fue incorporando patrones exitosos en sus propios parámetros, reduciendo así consultas externas y logrando menor latencia y coste computacional.

Simultáneamente, el agente adaptaba su estrategia dinámicamente («harness evolution»): aceleraba en tareas conocidas y simples, pero aumentaba el uso del arnés al enfrentar situaciones nuevas o problemas complejos, accediendo a registros y tickets para resolver casos extremos sin conjeturas erróneas.

Integrando EvoHarness-RL en sistemas empresariales

Aunque la adopción de nuevas tecnologías suele implicar desafíos, EvoHarness-RL incluye un adaptador de entorno que mantiene las implementaciones internas específicas y permite compartir solo la capa entrenable.

Ning destacó el potencial de incorporar BPE en sistemas de orquestación existentes como una capa adicional de gestión del estado, sin necesidad de reemplazar herramientas o frameworks actuales.

Para optimizar costes, el marco permite una arquitectura híbrida y asíncrona. Por ejemplo, un modelo avanzado puede generar datos de alta calidad para consolidación, y un modelo más liviano se encarga de la gestión rutinaria sin ralentizar la ejecución principal.

Los expertos aconsejan evaluar cuándo es imprescindible un arnés BPE entrenable y cuándo resulta excesivo. En tareas cortas o estables, soluciones tradicionales como ReAct pueden bastar; BPE brilla en actividades prolongadas, que requieren comprensión comprimida de decisiones y aprendizaje iterativo basado en experiencia y feedback humano.

Este avance supone un cambio en la ingeniería de orquestación IA: pasar de reglas directamente codificadas a crear sistemas en los que el agente aprende a comportarse mejor de forma autónoma y eficiente.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado