La capacidad de los agentes de inteligencia artificial (IA) para recordar conversaciones y tareas previas está mejorando, pero recordar información no garantiza que puedan aprender y mejorar con esa experiencia. Para medir esta diferencia, Letta acaba de presentar FrontierMemory, un benchmark que evalúa si los agentes pueden aprender de la experiencia más allá de simplemente recuperar datos almacenados. Los resultados iniciales manifiestan un marcado contraste en el desempeño entre los distintos sistemas de gestión o «harnesses» que controlan el funcionamiento de los agentes.
La prueba fue liderada por Letta Dream, que obtuvo una puntuación del 73,3%, seguida de Prime Agent con un 60%. En tercer lugar destacó OpenAI Agents SDK con un 40%, mientras que Claude Managed Agents y Hermes Agent quedaron rezagados con un 33,3% y 26,7% respectivamente.
Recordar no es aprender
Charles Packer, cofundador y CEO de Letta, explica que la mayoría de los benchmarks actuales relacionados con la «memoria» de la IA están saturados porque solo miden la capacidad de recordar hechos. Según Packer, el reto no está en la recuperación de información, que ya está resuelto a niveles aceptables, sino en el aprendizaje continuo en el espacio de tokens, es decir, aprender a partir del contexto que mantiene un agente sin necesidad de actualizar sus pesos. 
Sarah Wooders, también cofundadora de Letta, apunta otro problema: la mayoría de las pruebas evalúan tareas desconectadas donde se aporta todo el contexto necesario desde el principio. Sin embargo, esto no refleja cómo trabajan realmente las personas, que muchas veces se enfrentan a tareas nuevas con aprendizaje gradual. Wooders compara esta situación con la diferencia entre un empleado nuevo que necesita mucha guía y un veterano capaz de resolver las tareas con poca explicación.
La premisa de Packer es clara: «si la memoria generada por la IA es buena, debe mejorar el rendimiento en tareas posteriores».
Para ello, FrontierMemory entrega a los agentes transcripciones de trabajos anteriores, incluidos tanto intentos exitosos como fallidos, para que generen sus propias memorias y utilicen esas experiencias en tareas posteriores. Letta ha revisado y modificado pruebas previas para exigir a los agentes usar el aprendizaje previo en lugar de proporcionarles toda la información explícitamente. Así, FrontierMemory 1.0 se ha limitado a 15 tareas cuidadosamente seleccionadas.
La importancia del sistema de gestión del agente
Los resultados también indican que el sistema de gestión del agente o «harness» es tan importante como el modelo de IA que ejecuta. Al comparar Letta Dream y OpenAI Agents SDK, ambos usando GPT-6.1 Sol para crear memorias y GPT-6 Sol para resolver tareas, Dream logró un 73,3% frente al 40% de OpenAI. En otros modelos como Claude Opus 5.5, Dream alcanzó un 73,3%, Prime Agent un 60% y Claude Managed Agents sólo un 33,3%.
El «soñar» o dreaming es un proceso mediante el cual un agente revisa trabajos pasados y transforma lo aprendido en instrucciones o memorias reutilizables. Según Packer, la forma en que los agentes gestionan este dreaming es clave para su rendimiento. Sin embargo, también advierte que sin mecanismos de control, los agentes podrían repetir errores o malas prácticas aprendidas previamente.
Además, FrontierMemory evaluó siete modelos avanzados para verificar la calidad de las memorias generadas. Claude Opus 5.5 y Z.ai GLM-5.3 empataron en primer lugar con un 73,3%, seguidos por Kimi K3 (66,7%), GPT-6.1 Sol y Google Gemini 4 Argon (ambos 60%), Muse Wonder (46,7%) y Grok 4.7 (33,3%). Según Packer, Opus 5.5 y GLM-5.3 sobresalen claramente en la generación de memorias útiles respecto a GPT-6.1 Sol.
Equilibrio entre coste y rendimiento
Sin embargo, OpenAI presenta una gran ventaja económica: mientras que GPT-6.1 Sol cuesta aproximadamente 0,77 dólares por tarea, Opus 5.5 está en 2,80 dólares y GLM-5.3 en 3,58 dólares. Esto implica que aunque OpenAI obtiene puntuaciones inferiores, es considerablemente más económico operar con este modelo.
En los tests, Letta usó su sistema Dream para generar memorias con cada modelo y después midió su eficacia aplicándolas en tareas realizadas en Letta Code. Los resultados evidencian que mejorar la memoria y el rendimiento se traduce en un aumento del coste operativo.
Memorias flexibles y transferibles
Un caso interesante fue el manejo de datos de precios en una empresa. Opus 5.5 generó una habilidad que indicaba cuándo debía utilizar cierta información, mientras que GPT-6.1 Sol creó cuatro habilidades separadas, pero el agente no supo identificar cuál usar en cada momento. Por otro lado, Gemini 4 Argon cometió el error de recordar tamaños de archivo específicos que cambiaban con la tarea siguiente, mientras que Opus 5.5 instruyó al agente para verificar tanto el archivo habitual como el correo electrónico, siendo esta estrategia efectiva incluso ante cambios en la tarea.
Además, las memorias creadas con Opus 5.5 contribuyeron a que GPT-6 Sol completara tareas con mayor éxito, mostrando que es posible usar un modelo más caro para generar memorias y uno más económico para ejecutar las tareas.
Este benchmark ha despertado interés en la comunidad. Tras la publicación de Sarah Wooders, la cuenta de OpenClaw se mostró interesada en añadir su plataforma al benchmark, destacando el potencial para evaluar la memoria en entornos multijugador donde varios agentes comparten el mismo sistema de gestión.
Wooders respondió con entusiasmo: «¡Claro que sí, nos encantaría incorporar OpenClaw en la comparación de harnesses! Ampliar la memoria a entornos multipersona es una dirección muy interesante para el futuro.»
Límites y futuros desarrollos
FrontierMemory aún está en sus fases iniciales. Al contener sólo 15 tareas y permitir una única ejecución por tarea, un solo resultado podría modificar las puntuaciones en aproximadamente 6,7 puntos porcentuales. Actualmente, el benchmark se centra en que los agentes aprendan de trabajos previos, pero no en la actualización constante de memorias durante la ejecución. Packer indica que la próxima versión incluirá tareas de mayor duración y la capacidad de actualizar la memoria en línea.
