Amazon Web Services (AWS) ha puesto a disposición general su nuevo agente de inteligencia artificial, Continuum, diseñado para detectar, validar y corregir vulnerabilidades en repositorios de código. El servicio no solo examina el código fuente, sino que también verifica el contexto del entorno AWS del usuario y abre solicitudes de extracción (pull requests) proponiendo las correcciones correspondientes.
El pasado 5 de octubre, más de dos semanas antes de su lanzamiento oficial, AWS publicó un informe con los resultados preliminares de Continuum. Según este, el sistema consiguió superar el 89.0% de las tareas planteadas por la prueba CyberGym-E2E, un récord en comparación con el máximo público anterior que era del 65.9%. En esta evaluación, Continuum resolvió 819 de 920 tareas relacionadas con la identificación y corrección autónoma de fallos de seguridad.
Matt Garman, CEO de AWS, destacó en redes sociales que esta tecnología representa un avance transformador para la defensa en ciberseguridad, y que su agente obtuvo la mejor calificación jamás registrada en esta prueba comparativa. No obstante, algunos expertos, como Corey Quinn, economista cloud y cofundador de Duckbill, expresaron sus dudas sobre la premura de la publicación, especulando si la presentación se produjo antes de lo previsto, aunque sin aportar pruebas al respecto. 
Un caso reciente llamado PHP2Shell ha evidenciado que, pese a los avances que la IA aporta en la detección de vulnerabilidades, la reparación automática de estas continúa siendo un desafío significativo.
Funcionamiento del benchmark CyberGym-E2E
La prueba CyberGym-E2E asigna al agente un máximo de 90 minutos para localizar y solucionar una vulnerabilidad en uno de los 139 proyectos de código abierto integrados en el test. El agente debe identificar la falla sin recibir descripción, prueba de concepto, logs o parches previos. Debe reproducir la vulnerabilidad, aplicar un parche eficaz que evite el fallo y asegurarse de que los tests existentes sigan pasando sin inconvenientes.
Este benchmark se centra en fallos relacionados con la seguridad de la memoria en lenguajes C y C++, por lo que otras lenguas y tipos de vulnerabilidades quedan fuera, un aspecto reconocido por AWS.
La evaluación se realiza en cuatro fases acumulativas. Continuum logró localizar y reproducir un error en el 92.5% de las tareas, evitar el fallo que se producía en el 89.6%, y aplicar un parche sin que fallaran los tests en el 89.0%. La última fase evalúa si la corrección aplicada también soluciona la vulnerabilidad histórica concreta para la que se diseñó la prueba de cada caso.
En esta última etapa, el sistema reparó la vulnerabilidad histórica en el 37.8% de los casos, por encima del récord público anterior del 26.2%. Cabe destacar que el agente no tiene conocimiento previo de cuál es esa vulnerabilidad concreta, sino que debe arreglar cualquier falla válida dentro del código.
Interpretación de las diferencias entre métricas
Esta discrepancia entre el 89% de éxito general y el 37.8% en la corrección de la vulnerabilidad específica se explica porque un mismo repositorio puede contener múltiples vulnerabilidades. Así, aunque el agente arregle un fallo real que no es el asignado para el benchmark, el procedimiento sigue siendo válido y útil para mejorar la seguridad.
De esta manera, Continuum demuestra una alta capacidad para encontrar y corregir problemas reales sin romper la funcionalidad existente, aunque aún no se sabe con qué rendimiento actuará cuando se le indique exactamente qué vulnerabilidad debe remediar.
Validación y verificación del test
AWS ha llevado a cabo internamente las pruebas asegurando que su agente cumple con las restricciones de acceso a Internet durante la evaluación, para evitar que simplemente recupere soluciones ya públicas. Continuum completó satisfactoriamente el 89% de las tareas dentro del límite de 90 minutos impuesto.
La empresa añade que incrementando ese tiempo, el porcentaje de éxito subiría hasta un 93.7%. Aunque el benchmark y las herramientas de prueba están disponibles públicamente, hasta ahora únicamente AWS ha publicado estos resultados.
