Anthropic ha concedido un papel predominante a su inteligencia artificial Claude en la producción y revisión de código, atribuyéndole la autoría y supervisión del 90% del código elaborado por su equipo. No obstante, han desarrollado un riguroso sistema de verificación que asegura que estas contribuciones automatizadas se comproben con precisión, evitando a los ingenieros la labor tediosa de examinar cada cambio.
En una reciente publicación técnica, el miembro del equipo de Anthropic, Addy Osmani, presentó un sistema de verificación diseñado para manejar simultáneamente docenas o cientos de agentes automatizados. Esta infraestructura usa pruebas automatizadas para proporcionar a los ingenieros la evidencia necesaria para valorar lo que producen esos agentes sin requerir una supervisión constante y manual.
Este planteamiento ha generado cierto debate entre programadores y expertos que cuestionan si los costes asociados a la verificación mediante modelos de inteligencia artificial están justificados, o si herramientas de comprobación determinísticas más económicas podrían encargarse de parte del proceso. Ante estos interrogantes, Anthropic ha explicado en detalle cómo gestionan los costes de inferencia, cómo evitan que los agentes manipulen las pruebas y cómo miden la eficacia de los revisores automáticos.
Pruebas de código en tiempo real con IA
Claude ejecuta sus modificaciones dentro de aplicaciones en funcionamiento: emplea automatización de navegador para aplicaciones web, simuladores conectados mediante MCP para desarrollos móviles y servicios locales para backend. Estas instrucciones se almacenan en habilidades de verificación específicas para cada repositorio, ubicadas en .claude/skills/, lo que permite al agente ejecutar y revisar sus propios cambios antes de confirmarlos.
Además, Osmani recomienda a los desarrolladores el empleo de pruebas basadas en propiedades para detectar casos límite, así como pruebas diferenciales que evidencien cambios inesperados entre versiones antiguas y nuevas del código.
Controlando los costes de verificación
Algunos desarrolladores han expresado dudas sobre si la inversión en inferencias para la verificación con modelos IA es realmente eficiente. En plataformas como Hacker News, se ha sugerido que pruebas reutilizables mediante Playwright podrían realizar gran parte de la comprobación sin necesidad de invocar constantemente modelos complejos.
Desde Anthropic explican que los costes de inferencia pueden variar significativamente entre cambios y, para optimizarlos, siempre priorizan ejecuciones de pruebas determinísticas y económicas antes de que intervenga el modelo. Así, compilaciones, linters, pruebas unitarias y pruebas basadas en propiedades se ejecutan primero y luego corren como software convencional con mínimo coste.
«La revisión mediante modelos se reserva para lo que una prueba no puede responder, como evaluar si un cambio adopta el enfoque correcto o pasa por alto un caso que no ha sido probado.»
La compañía prefiere no cuantificar explícitamente el coste adicional que supone la verificación basada en modelos.
Evitando manipulaciones en las pruebas automatizadas
Otro aspecto crítico es el riesgo de que la IA modifique el código o las pruebas para hacer que estas pasen sin corregir realmente los problemas subyacentes. Usuarios en foros técnicos han alertado sobre esta posibilidad, temiendo un aumento innecesario de cambios y revisiones.
Para mitigar esto, Anthropic ha establecido una regla fundamental: si un cambio puede alterar la prueba que lo valida, esa prueba se considera inválida. Por ello, las revisiones de código leen siempre las instrucciones del archivo REVIEW.md desde la rama base, no desde las modificaciones propuestas en la solicitud de integración, y cada resultado de revisión se asocia únicamente al commit exacto evaluado.
Claude tiene prohibido evitar pruebas inestables, añadir retardos arbitrarios o repetir tests hasta que pasen. Si no puede detectar la causa raíz de un fallo, elimina la prueba pero documenta detalladamente la razón. Además, el sistema registra el método utilizado para verificar cada cambio, incluso cuando no se realiza ninguna comprobación.
Transformar errores antiguos en barreras de seguridad
Actualmente, Claude Code cuenta con 39 controles de fiabilidad diversos, pero para cada cambio suele ejecutar tan solo entre tres y diez. Por ejemplo, cuando se modifican funcionalidades relacionadas con el almacenamiento de sesiones, Claude comprueba que antiguas transcripciones sigan cargando correctamente con la opción «-resume».
Las integraciones están sujetas a reglas que obligan a que los desarrolladores verifiquen sus cambios mediante comandos específicos como /code-review o /verify. Aunque inicialmente estos controles son opcionales para facilitar la adaptación, su cumplimiento puede ser monitorizado y posteriormente se mandan a ser obligatorios. En casos excepcionales, los desarrolladores pueden saltarse una comprobación si justifican adecuadamente el motivo.
Entre junio y septiembre, Anthropic ha registrado que las solicitudes de integración aceptadas en el código de Claude Code se duplicaron, mientras que la proporción de cambios revertidos se redujo en más del 40%. Sin embargo, la empresa no ha detallado cuánto de esta mejora proviene directamente de sus ciclos de verificación ni ha desglosado datos diferenciados sobre defectos en producción o regresiones.
Evaluación constante de los revisores automáticos
Para medir la eficacia de sus revisores de código automatizados, Anthropic los evalúa utilizando incidentes históricos y cambios revertidos. Recrean el estado del repositorio en el momento de la revisión, generando una respuesta sencilla para cada caso que permita comprobar si el revisor identificó correctamente el error. Solo se puntúa positivamente cuando la detección del revisor coincide con el fallo real.
Los cambios previamente aceptados que permanecen estables se emplean para detectar falsos positivos. Asimismo, Anthropic mantiene un conjunto fijo de pruebas separado del que usa para ajustar sus revisores. Miden la capacidad de detección (recall) en distintas fases del proceso, y si un fallo detectado no llega a los ingenieros, el revisor también se considera fallido.
No obstante, por el momento no publican las tasas de error ni de falsos negativos derivadas de estas evaluaciones.
El papel imprescindible de los ingenieros
Este modelo híbrido ofrece un marco para definir qué pruebas requieren inferencia con IA y cuáles pueden delegarse a herramientas determinísticas más económicas. Sin embargo, sin datos públicos sobre las tasas de error o costes asociados a la inferencia, los desarrolladores externos disponen de poca referencia para comparar.
«Una persona es responsable de cada cambio que se lanza, independientemente de quien lo haya escrito.»
En definitiva, son los ingenieros quienes analizan la evidencia de verificación, incluyendo resultados de pruebas y capturas de pantalla. Si un control no se supera tras tres intentos, Claude eleva el problema para revisión humana.