Claude preparó el lanzamiento de Claude Docs con un «chaos loop» de dos semanas

Imagen del artículo de Anthropic sobre el chaos loop de Claude Docs

Anthropic ha contado cómo preparó Claude Docs, su editor colaborativo de documentos, para el tráfico del lanzamiento: dejó a Claude durante unas dos semanas en un «chaos loop», un bucle en el que sometía el servicio a pruebas de estrés, encontraba fallos, proponía y aplicaba arreglos y volvía a empezar. Según la compañía, tras salir el 16 de septiembre el servicio atendió 2.000 millones de peticiones con solo 60 errores de servidor.

Las claves del chaos loop de Claude Docs en 30 segundos

  • Tres semanas antes del lanzamiento, Claude Docs era una prueba de concepto en un solo nodo para unos pocos miles de usuarios internos.
  • Una sesión de Claude Code coordinó hasta 30 subagentes que estresaban un entorno de staging y arreglaban lo que fallaba.
  • Los cambios difíciles de deshacer necesitaban la aprobación de una persona.
  • El servicio acabó funcionando con unos 50 pods en lugar de los más de 500 estimados.
  • La inferencia costó unos 125.000 dólares a precio de lista de Claude Fable 5.2.

El artículo, firmado por el ingeniero Vivek Nair en el blog de desarrolladores de Anthropic, describe un caso práctico de algo que muchas empresas se plantean: usar agentes no solo para escribir código, sino para endurecer un sistema antes de que llegue el tráfico real. Claude Docs permite que personas y sesiones de Claude, desde el chat hasta Claude Code, lean, escriban y comenten en el mismo documento en tiempo real, lo que lo hace especialmente exigente en conexiones y memoria.

Imagen del artículo de Anthropic sobre el chaos loop de Claude Docs
Imagen: Anthropic.

Cómo funcionaba el bucle

El bucle arrancó el 4 de septiembre sobre un clúster de staging que replicaba producción y procesaba más de un millón de documentos sintéticos al día. Los escenarios eran deliberadamente paranoicos: diez millones de documentos nuevos en un día, 22.000 conexiones reconectándose a la vez o un documento con cientos de lectores mientras se tumbaba un servidor y se bloqueaba la base de datos. Claude tenía que respetar dos reglas: que los documentos se abrieran casi al instante aunque tuvieran un historial largo y que ninguna edición confirmada por el servidor se perdiera.

Cada iteración seguía el mismo patrón. El sistema de pruebas cargaba una función hasta saturarla, Claude leía la telemetría a través del MCP de Datadog y proponía un puñado de opciones con una recomendación. Los cambios reversibles se escribían, los revisaba otra sesión de Claude, se desplegaban en staging y se volvían a probar. Los cambios de esquema, de distribución de claves o de almacenamiento requerían aprobación humana. En la semana de más actividad trabajaban unos 11 subagentes a la vez, con picos de 30, y el coordinador consultaba a través de Slack a otros equipos de infraestructura de Anthropic que ya habían escalado servicios parecidos.

Resultados: de 3 GB a 180 MB por documento

Uno de los arreglos más llamativos fue de memoria. Un documento grande consumía unos 3 GB por pod porque cada pulsación de tecla copiaba el documento en varias estructuras de datos. Tras unos tres días de iteraciones, Claude aplicó copia en escritura y el pico bajó a unos 180 MB. Gracias a mejoras así, el servicio funcionó con unos 50 pods optimizados para memoria, cuando la estimación inicial superaba los 500.

Tras el lanzamiento, el primer millón de documentos llegó en unas 30 horas y el 22 de septiembre ya había más de 4,6 millones. En septiembre se hicieron 629 despliegues en producción sin ninguna marcha atrás, y siete de los diez escenarios ensayados en staging ocurrieron de verdad en producción. Nair calcula que un equipo de ingenieros habría necesitado unos seis meses para lo mismo, una estimación propia que no se puede contrastar.

Lecciones y coste

La primera lección es hacer el sistema legible para Claude. El equipo eligió Rust con pocas dependencias y sin recolector de basura para que cada cifra de memoria o latencia se pudiera relacionar con su propio código. También recomienda pedir resultados (un servicio que aguante el lanzamiento) en lugar de arreglos concretos, fijar las reglas que no se pueden romper antes de empezar y reservar a las personas las decisiones irreversibles. Según Nair, los modelos anteriores se desviaban del objetivo tras 10 o 20 iteraciones, mientras que el actual mantuvo las reglas durante muchas compactaciones de contexto.

El coste fue de unos 125.000 dólares de inferencia a precio de lista de Claude Fable 5.2, desde finales de agosto hasta el lanzamiento, aunque el autor cree que la mitad era evitable con una mejor configuración. Para equipos pequeños estima que un esfuerzo de dos semanas así costaría entre 3.000 y 10.000 dólares, una cifra orientativa que no ha verificado. Es la segunda pieza en pocos días en la que Anthropic detalla sus prácticas internas, tras explicar cómo verifica el equipo de Claude Code el código de sus agentes.

Preguntas frecuentes

¿Qué es un chaos loop?

Una sesión larga en la que Claude somete un entorno de pruebas a estrés, encuentra fallos, propone y aplica arreglos y repite el ciclo.

¿Cuánto costó el chaos loop de Claude Docs?

Unos 125.000 dólares de inferencia a precio de lista de Claude Fable 5.2, aunque el autor cree que la mitad se podría haber ahorrado.

¿Qué resultados obtuvo?

Tras el lanzamiento, 2.000 millones de peticiones con 60 errores de servidor, 629 despliegues sin marcha atrás y unos 50 pods en lugar de más de 500.

¿Decidía Claude todos los cambios?

No. Los cambios reversibles los aplicaba tras revisión de otra sesión, pero los difíciles de deshacer, como cambios de esquema o almacenamiento, necesitaban aprobación humana.

Fuentes:

Scroll al inicio