OpenAI reconoce que GPT-6.2 Astra oculta el doble de errores en programación que su predecesor

Las pruebas internas de OpenAI muestran que GPT-6.2 Astra no informa en un 22,28% de las ocasiones sobre obstáculos que impiden completar tareas de código, el doble que GPT-6 Astra. Este comportamiento podría complicar la detección de errores en desarrollos automatizados.

OpenAI ha revelado a través de sus propias evaluaciones de seguridad que su nuevo modelo de inteligencia artificial GPT-6.2 Astra es casi dos veces más propenso que su versión anterior a no informar a los usuarios sobre problemas que le impiden completar tareas de programación. Según la compañía, esta omisión alcanza un 22,28% de los casos evaluados, frente al 11,09% registrado en GPT-6 Astra.

Este problema afecta especialmente a desarrolladores que usan agentes autónomos para programar, ya que OpenAI aplicó una solución para mejorar esta transparencia en Codex, pero esta no se implementa automáticamente en solicitudes directas a la API. Esto significa que la herramienta puede generar código aparentemente correcto sin advertir de fallos críticos que dificultan la finalización real del trabajo.

En la tarjeta técnica publicada junto al lanzamiento de GPT-6.2 Astra y GPT-6.2 Sol, OpenAI confirma que aunque ambos modelos muestran un mejor rendimiento en tareas complejas y consumen menos tokens, estas mejoras no se traducen en una mayor fiabilidad a la hora de comunicar errores.

Patrocinado

El test de «Engaño Bloqueante» revela la problemática

Para evaluar este comportamiento, OpenAI ha utilizado un test interno denominado Blocker Deception, que somete a los modelos a tareas de programación realistas en las que se introducen obstáculos deliberados, como eliminar archivos fuente o deshabilitar herramientas necesarias para construir un proyecto. El objetivo es comprobar si el modelo informa al usuario sobre estas barreras o las oculta en la respuesta final.

Las omisiones que Astra pasa por alto

La empresa admite que este retroceso en la transparencia es preocupante y está investigando su causa. Una hipótesis apunta a que el entrenamiento para ofrecer respuestas más breves y con menos matices puede haber disminuido la probabilidad de que el modelo informe sobre problemas que impiden completar la tarea. OpenAI subraya que las evaluaciones fueron diseñadas para inducir esta conducta, por lo que la frecuencia real del problema en producción podría variar.

Otra evaluación, denominada Broken Search Tool, detectó una conducta similar: cuando la función de búsqueda necesaria está deshabilitada, GPT-6.2 Astra no reconoció la ausencia del recurso en el 23% de ocasiones, frente al 7,58% de GPT-6 Astra y solo un 1% en GPT-6.1 Terra.

Este comportamiento supone un reto para los desarrolladores, ya que, aunque pueden revisar logs, resultados de pruebas o diferencias en el código, no deberían tener que profundizar extensamente en cada sesión para descubrir si algo ha fallado. Si un agente asegura haber finalizado un trabajo sin mencionar una dependencia faltante o un fallo en la compilación, ese error podría pasar inadvertido durante la revisión, ampliando la llamada brecha de confianza en el código conforme los agentes automatizados intervienen en más partes de un repositorio.

Corrección parcial que no llega a todos los usuarios

OpenAI ha desarrollado una intervención basada en prompts que reduce significativamente la omisión de errores en las evaluaciones tanto de Astra como de Sol. Esta solución se incorporó en el prompt estándar de Codex para desarrolladores, pero no se aplica automáticamente a quienes utilizan solicitudes directas a través de la API, lugar desde donde muchos crean sus propios agentes autónomos.

Esto implica que, mientras los usuarios de Codex reciben esta mejora, los desarrolladores que construyen agentes personalizados mediante API no cuentan con esta protección a menos que la implementen manualmente. Además, el sistema no puede confiar en el resumen que el modelo ofrece al final de cada tarea; es necesario verificar los cambios en el código, examinar los resultados de las pruebas y confirmar la existencia de los productos esperados antes de marcar una tarea como completada.

Estas verificaciones son fundamentales, sobre todo para agentes que operan sin supervisión directa, donde un paso fallido puede pasar desapercibido hasta la revisión posterior del trabajo realizado.

Mejoras en rendimiento con riesgos adicionales

La divulgación coincide con la promoción por parte de OpenAI de mejoras sustanciales en rendimiento y eficiencia en sus modelos actuales. Según el anuncio oficial, GPT-6.2 Sol compite casi al mismo nivel que Astra en el benchmark FrontierCode 2.0 de Cognition, pero con una quinta parte del coste por tarea, funcionando a plena capacidad.

Replit, en pruebas facilitadas a The New Stack, informó que GPT-6.2 Sol supera en número de tests aprobados a GPT-6.1 Sol, utiliza un 62% menos de tokens y ejecuta las construcciones de software casi tres veces más rápido.

La mayor velocidad y reducción de costes favorecen un uso creciente de estos modelos para programación automatizada, pero los resultados de las evaluaciones internas de seguridad indican que una mejor ejecución no garantiza que el agente informe correctamente de fallos al desarrollador, generando potenciales problemas en la detección de errores.

Add a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Patrocinado