Claude Fable 5.2 frente a Opus 5.5: Igual rendimiento a casi cuatro veces el coste

Anthropic lanzó Claude Fable 5.2, que supera en capacidades a Opus 5.5 según sus benchmarks. Sin embargo, la compañía recomienda Opus para tareas diarias por su mejor relación coste-beneficio. Un análisis detallado confirma que ambos modelos obtienen puntuaciones similares, pero Fable cuesta casi cuatro veces más y requiere el doble de tiempo.

El pasado 9 de noviembre, Anthropic presentó Claude Fable 5.2, un modelo de inteligencia artificial que según sus pruebas internas supera a su predecesor, Claude Opus 5.5, en casi todos los aspectos medidos. A pesar de ello, la compañía aconseja comenzar con Opus para la mayoría de las tareas de codificación y gestión del conocimiento, calificándolo como su “modelo más sólido para uso diario”.

Esta aparente contradicción llevó a realizar una comparativa directa entre ambos modelos para entender por qué Anthropic recomendaría un modelo inferior y si Opus realmente es suficiente para tareas habituales.

Comparativa de rendimiento y coste

Según los benchmarks oficiales de Anthropic, en la prueba FrontierCode 2.0, Fable 5.2 alcanzó un 49,1 % de acierto en la categoría de máximo esfuerzo, mientras que Opus 5.5 logró un 45,5 % en su nivel máximo. Además, Fable consiguió un 45,3 % usando un nivel alto de esfuerzo, pero a aproximadamente la mitad del coste por tarea que supondría el uso máximo de Opus.

Patrocinado

En otro test, FrontierSWE v2, Fable obtuvo un 69,9 % frente al 62,3 % de Opus. No obstante, las tarifas estándar de la API para Fable son el doble que las de Opus: $8 por millón de tokens de entrada no almacenados en caché y $40 por millón de tokens de salida, comparado con $4 y $20 para Opus respectivamente.

Con estos datos, se realizaron tres pruebas prácticas de codificación y resolución de problemas para determinar el rendimiento real, la cantidad de tokens consumidos, el coste estimado y el tiempo empleado por cada uno.

Metodología de prueba

Cada modelo se ejecutó una vez por prueba usando la API de Anthropic con configuración predeterminada y sin límite de interacciones. Cabe destacar que los ajustes por defecto no son iguales: Fable funciona con un nivel alto de esfuerzo, mientras que Opus usa un nivel medio. Por tanto, los resultados reflejan la experiencia del usuario sin modificaciones adicionales.

Se empleó un sistema automatizado para evaluar las respuestas de los modelos según criterios objetivos, y se estimaron los costes basándose en el uso de tokens declarado por la API, que distingue entre tokens de entrada, lectura y escritura en caché, y tokens de salida.

Pruebas realizadas

  • Programador Cron: Conversión de una especificación escrita detallada en código funcional capaz de ejecutar trabajos programados y adaptarse a solicitudes de cambios posteriores. Se evaluó con un conjunto oculto de 50 pruebas automatizadas.
  • Corrección de repositorio de facturación: Simuló un agente encargado de detectar y solucionar errores en una librería de facturación con bugs en el cálculo de redondeos, descuentos, impuestos y gastos de envío, además de identificar un test erróneo que no debía modificar.
  • Investigación de incidentes: Uso de registros, métricas y datos de despliegue para localizar la causa de una interrupción en el sistema de pagos, incluyendo datos confusos como despliegues falsos y servidores con desajustes horarios.

En todos los casos, las versiones iniciales de las pruebas fueron superadas con puntuación perfecta por ambos modelos. Para distinguir mejor sus capacidades, se aumentó progresivamente la dificultad en dos rondas adicionales por prueba.

Resultados por prueba

Programador Cron

Ambos modelos sacaron nota máxima en las tres versiones, que añadían complejidad como reglas especiales de fechas y ajustes manuales para horarios y zonas horarias sin apoyo de bibliotecas externas. Sin embargo, Fable 5.2 generó entre dos y tres veces más razonamientos por iteración que Opus 5.5, sin que esto se tradujera en un mejor resultado o eficiencia.

En cuanto al tiempo y coste, Opus completó las pruebas en 358 segundos con un coste estimado de $0,99, mientras Fable tardó 661 segundos y costó $3,29, casi tres veces más.

Corrección de repositorio de facturación

Esta prueba, que simula realmente la labor diaria de agentes en código, mostró la mayor diferencia de coste y tiempo entre ambos modelos. Aunque ambos lograron puntuaciones perfectas, Opus terminó cada versión en menos de un minuto y consumió mucho menos tokens para razonamiento. Fable tardó entre 1 minuto y 46 segundos y casi 4 minutos, con un coste ocho veces superior en total.

Investigación de incidentes

Contrariamente a lo esperado, esta prueba orientada a análisis y búsqueda meticulosa no benefició a Fable en cuanto a costes o tiempo. Ambos modelos alcanzaron puntuaciones perfectas, pero Opus fue más rápido y económico en todas las iteraciones. Fable utilizó menos turnos para resolver el problema, pero su consumo de tokens fue mayor y el coste casi triplicado.

Comparativa global

Prueba Fable 5.2 Opus 5.5
Cron scheduler (3 versiones) 150/150 puntos 150/150 puntos
Corrección repositorio facturación (3 versiones) 150/150 puntos 150/150 puntos
Investigación de incidentes (3 versiones) 150/150 puntos 150/150 puntos
Total tokens entrada/salida 722.188 / 168.099 637.949 / 78.293
Coste estimado total $8,98 $2,29
Tiempo total (segundos) 1.579 701

En definitiva, tanto Fable 5.2 como Opus 5.5 alcanzan el mismo nivel en puntuación total, pero Fable supone un gasto casi cuatro veces mayor y tarda más del doble en completar las tareas.

Análisis final

Estas pruebas confirman por qué Anthropic recomienda iniciar proyectos con Opus 5.5 en ámbitos similares a los evaluados. Ofrece resultados iguales a Fable con mayor rapidez y una fracción del coste, convirtiéndolo en la opción más eficiente para la mayoría de usuarios y desarrolladores.

No obstante, Fable 5.2 no debe descartarse: sus ventajas podrían manifestarse en tareas más abiertas y complejas fuera del marco aquí evaluado, tal y como señala Anthropic. Además, su configuración predeterminada de mayor esfuerzo podría explicar parte de la diferencia en consumo y tiempo.

Por ahora, lo aconsejable es comenzar con Opus 5.5 y solo ascender a Fable 5.2 cuando los resultados no cumplan los estándares deseados.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado