Así verifica el equipo de Claude Code el código que escriben sus agentes

Imagen del artículo de Anthropic sobre verificación en Claude Code

Alrededor del 90 % del código del equipo de Claude Code lo escribe y lo revisa el propio Claude, según cuenta Addy Osmani en el blog de desarrolladores de Anthropic. Lo que lo hace posible, explica, no es tanto el modelo como los bucles de verificación: pruebas, revisiones y controles automáticos que permiten confiar en el trabajo de muchos agentes sin leer cada línea.

Las claves de cómo verifica el equipo de Claude Code en 20 segundos

  • Sin verificación, una persona solo puede supervisar uno o dos agentes; con ella, decenas.
  • La prioridad son las pruebas end-to-end, seguidas de tests de propiedades y diferenciales.
  • Claude ejecuta los cambios, pasa una checklist ligada al diff y escala a un humano tras tres intentos fallidos.
  • Ningún cambio puede modificar las reglas que lo evalúan.

El artículo, publicado el 16 de noviembre, parte de una idea sencilla: la verificación es lo que permite delegar. Si cada cambio de un agente necesita que alguien lo compruebe a mano, esa persona no puede vigilar más que uno o dos a la vez. Con bucles de comprobación fiables, pueden trabajar en paralelo decenas o cientos. Osmani añade que lo que antes era caro de preparar, como baterías de pruebas, especificaciones o ejecuciones completas, ahora un agente lo genera con poco coste, y una vez escrito se ejecuta una y otra vez sin gastar apenas tokens.

Imagen del artículo de Anthropic sobre verificación en Claude Code
Imagen: Anthropic.

Qué pruebas merecen la pena con agentes

La primera recomendación son las pruebas end-to-end, que recorren un flujo real de usuario, como añadir un producto al carrito, pagar y llegar a la confirmación. Son difíciles de engañar y dejan claro cuándo algo está terminado. El texto lo ilustra comparando un test unitario que solo devuelve un tiempo de espera agotado con una prueba end-to-end que entrega la traza de pasos y una captura en la que se ve el botón de pago desactivado. Para eso el agente necesita acceso real al sistema en marcha, mediante el protocolo de depuración de Chrome, simuladores o herramientas para llamar a la API.

Detrás vienen los tests de propiedades, que definen algo que nunca debería fallar, como que un saldo no puede ser negativo o que codificar y decodificar devuelve el original, y generan miles de entradas para intentar romperlo con librerías como fast-check, Hypothesis o proptest. Y las pruebas diferenciales, que ejecutan el sistema antiguo y el nuevo con las mismas entradas y comparan los resultados, útiles en grandes migraciones. El artículo advierte de dos trampas: los tests inestables enseñan al agente a repetir en lugar de arreglar, y los lentos reducen cuántas comprobaciones se hacen.

Las reglas internas del equipo

En el día a día, Claude ejecuta cada cambio antes de darlo por bueno: usa la extensión de Chrome para la web, un MCP de iOS o Android para móviles, el control del ordenador para aplicaciones de escritorio o servicios locales para el backend. El equipo mantiene una skill verify junto al código que explica cómo arrancar la aplicación o el simulador, y que tratan como su batería de pruebas básicas. Si las comprobaciones fallan tres veces seguidas, Claude se detiene y pide ayuda a una persona.

Tienen también una lista de 39 puntos de fiabilidad, cada uno ligado a un patrón que se detecta en el diff y al incidente que lo originó; en cada cambio Claude solo revisa los que aplican, normalmente entre 3 y 10. Para la revisión prefieren un único revisor afinado con un archivo REVIEW.md antes que apilar varios, y ese archivo se lee siempre de la rama base, nunca de la propia pull request, para que un cambio no pueda rebajar las reglas que lo juzgan. Cada commit deja constancia de cómo se verificó, aunque sea «ninguna», y una compuerta opcional puede bloquear commits sin revisión previa.

Con los tests inestables son tajantes: Claude no puede saltarlos, añadir esperas ni reintentarlos. Si no encuentra la causa, borra el test y deja escrito por qué. Los fallos que se repiten se convierten en reglas, pero solo después de aparecer en al menos dos pull requests, de que tres agentes intenten refutarlas y de que una persona las apruebe. Y todo eso se poda de forma periódica, porque las baterías de pruebas y los archivos de instrucciones solo crecen si se les deja.

De leer diffs a definir qué es «terminado»

La conclusión del texto es que la capa de verificación debe tratarse como cualquier otro sistema: fuera del alcance de los cambios que evalúa, medida con fallos que importaron de verdad y depurada cuando se queda corta. El equipo incluso evalúa a sus revisores automáticos con reversiones, rechazos de mantenedores y un grupo de control. Anthropic cita una prueba interna en la que un evaluador separado que comprueba el resultado con una rúbrica mejoró el éxito hasta en 10 puntos frente a un bucle de instrucciones estándar, con más ventaja en los problemas difíciles. El papel humano, según el artículo, pasa de revisar cada línea a definir qué significa «terminado» y revisar las pruebas, una idea que encaja con la guía de ingeniería agéntica que publicó GitHub hace unos días.

Preguntas frecuentes

¿Cuánto código del equipo de Claude Code escribe Claude?

Según el artículo, alrededor del 90 % del código del equipo lo escribe y revisa Claude.

¿Qué tipo de prueba recomienda Anthropic para agentes?

Las pruebas end-to-end son la prioridad, seguidas de los tests de propiedades y las pruebas diferenciales para migraciones.

¿Qué hace Claude si una prueba falla repetidamente?

Intenta corregirla y, tras tres rondas fallidas, se detiene y escala el problema a una persona.

¿Por qué se lee REVIEW.md desde la rama base?

Para que un cambio no pueda modificar las reglas de revisión que se le aplican.

Fuentes:

Scroll al inicio