GPT-6.1 Terra frente a Claude Opus 5.5: análisis de tres pruebas revela mayor rapidez y ahorro con Terra

El lanzamiento de GPT-6.1 Terra por OpenAI incluye comparativas directas con Claude Opus 5.5, destacando un mejor rendimiento, coste reducido y mayor eficiencia token por token en tareas de programación científica y auditoría informática.

OpenAI presentó oficialmente GPT-6.1 Terra el 26 de octubre, destacando en sus materiales promocionales una comparación directa con Claude Opus 5.5, el modelo desarrollado por Anthropic. Según OpenAI, Terra se aproxima al rendimiento de Opus 5.5 con una diferencia inferior a cinco puntos porcentuales en la prueba Terminal-Bench-Science 0.1, destinada a tareas de programación científica como el seguimiento de divisiones celulares, pero con un coste estimado inferior a una quinta parte.

En condiciones de máximo esfuerzo, OpenAI describe a Terra como un modelo más de tres veces eficiente en tokens que Opus y con un precio de cuatro veces menor para tokens estándar de entrada y salida. Además, el coste estimado por tarea ronda apenas una novena parte del de Opus. En el examen Agents’ Last Exam, que evalúa tareas complejas con pasos múltiples, Terra alcanzó un 60% de aciertos con un coste aproximado de 1,01 dólares por tarea, mientras Opus logró un 63,2% pero a 8,82 dólares. Estos resultados señalan una ventaja considerable en relación calidad/precio para Terra.

En los precios estándar sin almacenamiento en caché, Terra cuesta alrededor de 1 dólar por millón de tokens de entrada y 5 dólares por millón de tokens de salida, frente a los 4 y 20 dólares de Opus 5.5 respectivamente. Esto implica que, para igualar costes, Opus debería utilizar cuatro veces menos tokens, aunque el coste final depende también del uso real, lecturas y escrituras en caché, y otros ajustes tarifarios.

Patrocinado

Este análisis atrajo interés tras pruebas previas que mostraron que Terra a veces omitía cálculos y ofrecía respuestas erróneas en tareas de análisis de grandes bases de datos, como ocurrió en enfrentamientos con GPT-6 Astra, otro modelo de OpenAI. Por ello, se diseñaron tres nuevas pruebas centradas en áreas donde Terra competía directamente contra Opus: uso de computadoras, programación científica y manejo de grandes conjuntos de datos.

Descripción de las pruebas

Se desarrollaron y ejecutaron las tres pruebas varias veces, aumentando la dificultad cuando los resultados se igualaban, para obtener resultados finales más representativos. Cada prueba se ejecutó una sola vez por modelo utilizando sus respectivas APIs al máximo nivel de esfuerzo, sin limitar el número de interacciones. Cada respuesta fue evaluada mediante un guion frente a una clave de respuestas verificadas.

  • Diagnóstico de lanzamiento de software: Se simuló un entorno tipo GitHub con una versión de software fallida, que el modelo debía corregir navegando por una interfaz de navegador basada en capturas de pantalla, usando clics y URLs.
  • Línea celular: Se generó una película microscópica con 72 fotogramas mostrando divisiones celulares. Los modelos debían escribir y ejecutar código Python para rastrear las células, registrar divisiones y trazar la genealogía de cada célula hasta sus progenitores.
  • Auditoría de historial de integración continua (CI): Consistió en analizar 1.200 filas de resultados de pruebas, con preguntas específicas sobre la información, que incluían múltiples zonas horarias, formatos diversos de duración, renombramiento de pruebas, duplicados y un cambio de precio en mitad del mes.

Diagnóstico de lanzamiento

Esta prueba acabó con un empate técnico, donde ambos modelos resolvieron correctamente todos los problemas detectados (seis causas raíz), revirtieron los cambios apropiados y evitaron incorporar instrucciones para saltarse medidas de seguridad. La diferencia estuvo en la estrategia de navegación: Opus utilizó 102 cambios de página mediante URLs, mientras Terra apenas 23 y prefirió hacer clics dentro del sitio, produciendo además muchas menos tokens de salida.

Desde el punto de vista económico, Terra logró el mismo resultado a una fracción del coste estimado sin caché (17,1% respecto a Opus), lo que supone una relación de casi 6 a 1. La duración de la prueba fue similar para ambos.

Línea celular

En esta prueba, Terra superó a Opus con una puntuación de 48 sobre 50 frente a 43,5. Se valoraron aspectos como la detección correcta de divisiones celulares, trazabilidad y respuestas a preguntas resumen sobre el fenómeno. Terra no cometió errores en la identificación de divisiones y respondió correctamente a todas las preguntas resumen, mientras Opus falló en varios conteos y asignaciones incorrectas.

Terra completó esta prueba con menos interacciones y ejecuciones de código, y en aproximadamente la mitad del tiempo que Opus.

En coste estimado sin caché, Terra solo utilizó cerca de un veinticuatroavo del gasto generado por Opus, reflejando una eficiencia destacada.

Auditoría de historial de integración continua (CI)

Esta prueba no replicó exactamente los benchmarks originales, pero sirvió para evaluar la capacidad de manejar grandes volúmenes de datos. En la primera versión con cerca de 4.000 filas, ambos modelos no pudieron completar la tarea antes de alcanzar el límite máximo de tokens de salida permitidos (128.000).

En la versión recortada con 1.200 filas, Terra logró responder correctamente 47 de 50 preguntas, errando solo en conteos menores y en identificar una pregunta sin respuesta válida. Opus no completó ninguna respuesta final dentro del máximo de tokens, resultado considerado un fallo para esta configuración.

Terra cumplió esta exigente tarea sin ayuda de herramientas externas, destacando su adaptabilidad y rapidez frente a Opus.

Resultados generales

Prueba GPT-6.1 Terra Claude Opus 5.5
Diagnóstico de lanzamiento (de 50) 50 50
Línea celular (de 50) 48 43,5
Auditoría CI (de 50) 47 Sin respuesta final
Total tokens entrada / salida 25.292.559 / 138.611 51.895.447 / 369.032
Coste estimado sin cachear 25,99 $ 214,96 $
Coste estimado con caché 2,51 $ 21,52 $
Tiempo total (segundos) 2.418 3.962

Las cifras económicas son estimaciones basadas en el uso de tokens informado por las APIs y las tarifas estándar sin considerar otros posibles descuentos o infraestructuras adicionales.

Reflexiones finales

GPT-6.1 Terra demostró ser competitivo frente a Claude Opus 5.5, especialmente en tareas que requieren navegación web, ejecución de código y verificación de resultados. Además, mostró una relación calidad-coste muy favorable con un coste hasta ocho veces menor y un tiempo de ejecución sensiblemente inferior. En las pruebas con grandes tablas, Terra logró completar las tareas mientras Opus no pudo concluir.

Sin embargo, estas conclusiones corresponden a estas ejecuciones específicas con el máximo nivel de esfuerzo; Opus 5.5 recomienda utilizar configuraciones medias para equilibrar costes y calidad, una variable aquí no explorada. También se recomienda verificar numéricamente los resultados en grandes conjuntos de datos, dado que Terra mostró algunas imprecisiones en ese ámbito.

En definitiva, para aplicaciones que implican programación científica y auditoría informática con uso intensivo de navegación y ejecución, probar Terra en máxima configuración podría ser una opción más rentable antes de decidirse por Opus u otros modelos, siempre comparando según el contexto específico de uso.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado