En el ámbito del desarrollo de software asistido por inteligencia artificial, la proliferación de benchmarks que miden el rendimiento de estos sistemas no cesa. Plataformas como SWE-bench o Terminal-Bench ya permiten evaluar si un agente puede resolver problemas reales o manejar comandos terminales, respectivamente. En esta línea, GitHub ha introducido ReviewBench, un nuevo estándar abierto para evaluar la calidad de las revisiones de código realizadas por IA, desarrollado en colaboración con Microsoft.
ReviewBench se basa en un conjunto de 219 solicitudes de extracción (pull requests) públicas extraídas de 187 repositorios que abarcan 19 lenguajes de programación distintos. La selección de este corpus fue meticulosa, analizando más de 103 millones de pull requests para garantizar una representación fiel del ecosistema de GitHub, evitando que predominara un exceso de cambios triviales, como modificaciones en un único archivo.
Copilot, el rey en casa
Desde su lanzamiento en octubre de 2024, GitHub Copilot Code Review ha evolucionado con rapidez. Tras estar inicialmente disponible para suscriptores de pago, se ha integrado en una arquitectura más sofisticada capaz de extraer contexto más amplio del repositorio, además de funciones como aprobar pull requests o facturación a través de minutos de GitHub Actions en proyectos privados. En este nuevo benchmark, Copilot Code Review, evaluado en su configuración «Balanced», alcanza una puntuación F1 fundamentada del 40,1%, situándose al frente de la tabla de clasificación inaugurada por ReviewBench. 
Este resultado parece reforzar el liderazgo de Copilot en la automatización de revisiones de código, aunque hay que matizarlo. GitHub advierte que los datos iniciales fueron generados internamente ejecutando versiones públicas de cada producto, sin la participación directa o verificación por parte de los proveedores de estas herramientas. Además, las pruebas se realizaron en fechas diferentes, lo que puede influir en la comparabilidad de los resultados: Copilot fue probado en octubre, mientras que otros como Cubic o Greptile lo fueron en junio.
GitHub ha publicado abiertamente tanto el dataset como la metodología y el sistema de evaluación, además de permitir que otros vendors presenten sus propias pruebas para incorporarlas a la clasificación. Según declaraciones internas, ReviewBench ha servido a GitHub como un termómetro preliminar que anticipa el rendimiento de Copilot en entornos de producción.
Una mirada independiente que cambia el panorama
Sin embargo, la perspectiva varía si se considera otro benchmark independiente como Code Review Bench, desarrollado por la firma de investigación Martian. Lanzado en febrero, combina métricas offline y un seguimiento online que mide la eficacia real basada en la respuesta de los desarrolladores a los comentarios generados por IA en repositorios abiertos.
En el ranking online de Martian a fecha de 6 de octubre, la herramienta Cubic lidera con un 64,9% en la puntuación F1, seguida por Greptile y CodeRabbit. GitHub Copilot, que en ReviewBench era primero, se posiciona cuarto con un 60,9%. Por otro lado, en la clasificación offline de Martian, Qodo Deep toma la delantera, seguido por Cubic y Augment, con Copilot en la quinta posición y un 58% en la puntuación F2 (que prioriza la capacidad para captar más problemas relevantes).
Estas divergencias evidencian que el diseño del benchmark y las métricas seleccionadas influyen decisivamente en cuáles herramientas se perciben como óptimas. Martian, en contraste con GitHub, enfatiza la independencia y el rigor científico: es un laboratorio de investigación que no vende herramientas ni entrena modelos, garantizando que no existen conflictos de interés en su evaluación. El código fuente y la metodología de Code Review Bench son públicos bajo licencia MIT, y están abiertos para aportaciones de desarrolladores, fabricantes de modelos e investigadores.
Variaciones y retos en la evaluación de revisores automáticos
También existe otro benchmark llamado ReviewBench, lanzado por LangChain en julio, que aunque comparte nombre, se centra en una evaluación de modelos en un entorno controlado y no ofrece una tabla abierta de clasificación basada en productos comerciales. Este tipo de iniciativas muestra cómo, aunque el interés por evaluar la revisión de código mediante IA es creciente, las herramientas y métricas varían mucho y no existe todavía un estándar único universalmente aceptado.
GitHub confía en que ReviewBench evolucione y se amplíe gracias a la participación activa de proveedores que envíen sus resultados para crear un panel más amplio y representativo, más allá del snapshot inicial producido internamente. La apuesta de GitHub busca, por tanto, establecer un punto de referencia útil para mejorar el desarrollo de sus sistemas y para ofrecer una métrica común en el sector, consciente, eso sí, de sus limitaciones iniciales.
En definitiva, la llegada de ReviewBench abre un nuevo capítulo en la evaluación de las herramientas de revisión automática de código, con GitHub Copilot asentándose como referente en su propio test, mientras que otras plataformas independientes ponen en duda la hegemonía de la propuesta oficial. Esto revela tanto el potencial como los desafíos que plantea incorporar IA en la revisión de software, un proceso que sigue siendo fundamental para el desarrollo ágil y seguro de aplicaciones.
