Anthropic ha lanzado Claude Fable 5.2, una actualización de su modelo de inteligencia artificial orientado a tareas de desarrollo de software que promete reducir las denegaciones de respuesta y bajar los precios de los tokens empleados en sus APIs.
En un enfrentamiento directo entre Fable 5.2 y su versión anterior, Fable 5.1, la compañía asegura que la nueva versión ejecuta un 55% menos bloqueos de seguridad en general y hasta un 60% menos en tareas de ciberseguridad. Además, indica que 5.2 genera resultados hasta un 30% más rápido y ofrece una reducción del 20% en el coste por millón de tokens de entrada y salida: 8 y 40 dólares respectivamente, frente a los 10 y 50 dólares de Fable 5.1.
Para evaluar estas diferencias, se realizaron tres pruebas de desarrollo usando la API de Anthropic con el ajuste de esfuerzo “Alto” y midiendo factores como rechazos, precisión, número de tokens, coste estimado y tiempo empleado. Estas pruebas incluyeron tareas de duración y complejidad variadas, y consideraron una única ejecución por modelo y por prueba.
Pruebas realizadas
- Chat con webhook: Se reusó un chat simulado de 50 intercambios que reproduce a un líder de desarrollo creando un servicio de reenvío de webhooks con múltiples reglas y modificaciones a lo largo de la conversación. Al final, el modelo debe generar el código y responder a un cuestionario.
- Verificador de firmas: Se facilitó la especificación para programar un código que valide webhooks firmados, prevenga envíos duplicados y limite el ritmo de peticiones, junto a una solicitud de cambio. La salida fue evaluada mediante 50 pruebas automáticas ocultas.
- Corrección de repositorio de login: Un agente modeló la corrección de un módulo de login con diversos bugs en contraseñas, bloqueos, tokens de reseteo y sesiones, incluyendo pruebas erróneas que debía identificar sin modificar.
Resultados en Chat con webhook
En la prueba original de octubre con Fable 5.1, ocurrieron 34 rechazos de 50 turnos, comenzando desde el quinto intercambio cuando se solicitó obtener la URL del entorno. No se generó código ni respuestas al cuestionario asociado. En contraste, Fable 5.2 completó la conversación sin ningún rechazo, usando correctamente las últimas versiones de reglas y respondiendo «desconocido» a preguntas sin respuesta, sin inventar datos.
Fable 5.2: 50 turnos, 298.709 tokens de entrada, 41.828 de salida (28.550 de razonamiento), coste estimado de 4,06 dólares y duración de 427 segundos.
Fable 5.1 (octubre): 34 rechazos, sin código ni respuestas al cuestionario.
Desempeño en Verificador de firmas
Fable 5.1 rechazó ambas solicitudes casi instantáneamente, etiquetándolas como bloqueos por ciberseguridad y sin ofrecer salida. Anthropic explica que algunas tareas legítimas de seguridad pueden activar sus filtros automáticos.
Por el contrario, Fable 5.2 interpretó la especificación, aplicó los cambios y superó exitosamente las 50 pruebas ocultas incluyendo casos límite como sellos temporales, secretos rotados y ataques de repetición.
Fable 5.2: 2 turnos, 21.299 tokens de entrada, 26.167 de salida (18.407 razonamiento), coste 1,22 dólares, duración 253 segundos.
Fable 5.1: 2 turnos rechazados, 3.206 tokens de entrada indicados, 0 tokens de salida, coste 0 dólares, duración 2 segundos.
Corrección del repositorio de login
Esta prueba exhibió mayor paridad, con ambos modelos completando las correcciones en tres versiones de la tarea con bugs crecientes y nuevos módulos.
- Versión 1: Bugs en hashing de contraseñas, bloqueos, tokens y sesiones, además de una prueba defectuosa.
- Versión 2: Inclusión de módulo de código de un solo uso con bugs propios y reglas más estrictas, como Unicode en nombres de usuario y manejo de relojes atípicos en sesiones.
- Versión 3: Añadido un registro de auditoría para redactar secretos y un limitador de tasa, sin pruebas precargadas.
En las tres versiones, ambos modelos lograron máxima puntuación (150/150) corrigiendo los fallos indicados y reportando el test erróneo sin modificarlo. Fable 5.1 no presentó rechazos durante estas pruebas.
Respecto a rapidez y razonamiento, Fable 5.2 generó alrededor de un 30% más de tokens por segundo incluyendo las explicaciones, con menor número de interacciones totales, reflejando una ejecución más eficiente.
Versión 1:
Fable 5.2: 4 turnos, 16.149 tokens entrada, 4.502 salida (1.178 razonamiento), coste 0,27 $, 43 segundos.
Fable 5.1: 7 turnos, 33.935 entrada, 4.761 salida (1.149 razonamiento), coste 0,36 $, 52 segundos.
Versión 2:
Fable 5.2: 4 turnos, 24.081 entrada, 10.024 salida (4.887 razonamiento), coste 0,56 $, 95 segundos.
Fable 5.1: 21 turnos, 139.189 entrada, 9.475 salida (4.018 razonamiento), coste 0,68 $, 118 segundos.
Versión 3:
Fable 5.2: 4 turnos, 34.269 entrada, 17.964 salida (10.578 razonamiento), coste 0,96 $, 166 segundos.
Fable 5.1: 25 turnos, 208.826 entrada, 10.638 salida (4.342 razonamiento), coste 0,79 $, 132 segundos.
Resumen y valoración
Sumadas las pruebas del verificador de firmas y las tres versiones de la corrección, Fable 5.2 completó con éxito tareas donde la versión anterior no produjo salida por bloqueos. En total, Fable 5.2 usó 95.798 tokens de entrada y 58.657 de salida por un coste estimado de 3,01 dólares en 557 segundos, mientras Fable 5.1 empleó 385.156 tokens de entrada y 24.874 de salida, por 1,83 dólares en 304 segundos.
El valor más destacado de Fable 5.2 es su menor tasa de rechazos, lo que amplía su utilidad para tareas sensibles a bloqueos. Aunque la reducción de coste es modesta (alrededor del 2% en pruebas específicas), el ahorro real puede variar según el uso particular, y se recomienda comparar ambas versiones en escenarios propios.
En síntesis, Fable 5.2 representa un avance en accesibilidad y eficiencia para desarrolladores que dependen de estas herramientas, mejorando la experiencia con un modelo más resolutivo y económicamente competitivo.
