El avance de China en el campo de la inteligencia artificial ha sido imparable, a pesar de las restricciones impuestas por Estados Unidos en el acceso a chips avanzados y tecnología de fabricación. Una de las empresas que más ha destacado en este sector es DeepSeek AI, que recientemente ha revelado su propio sistema de archivos paralelo de alto rendimiento optimizado para cargas de trabajo de entrenamiento e inferencia en inteligencia artificial. Se trata del Fire-Flyer File System (3FS), una solución de código abierto diseñada para maximizar el uso de SSDs modernos y redes RDMA, alcanzando niveles de rendimiento que desafían las alternativas existentes.
3FS: un sistema de archivos optimizado para el entrenamiento de modelos de IA
DeepSeek ha sido protagonista en el sector de la IA tras el lanzamiento de DeepSeek R1, un modelo que compite con OpenAI pero con un uso de hardware significativamente menor. Ahora, la compañía ha decidido hacer pública otra de sus innovaciones: 3FS, un sistema de archivos paralelo de alto rendimiento diseñado para optimizar los procesos de entrenamiento de modelos de IA y mejorar la eficiencia de los centros de datos.
Algunas de sus características clave incluyen:
- Arquitectura desagregada: combina el ancho de banda de miles de SSDs y cientos de nodos de almacenamiento, permitiendo acceso eficiente a los recursos sin dependencia de la localización de los datos.
- Consistencia fuerte: implementa Chain Replication con Apportioned Queries (CRAQ), simplificando el código de las aplicaciones al garantizar la coherencia en los datos almacenados.
- Interfaz de archivos estándar: no requiere aprender una nueva API de almacenamiento, ya que utiliza servicios de metadatos sin estado respaldados por bases de datos transaccionales como FoundationDB.
Esta arquitectura permite que 3FS ofrezca un rendimiento sin precedentes, optimizando los tiempos de procesamiento y facilitando la implementación de soluciones avanzadas de inteligencia artificial en entornos empresariales y de investigación.
Un rendimiento de lectura sin precedentes en entornos HPC
El sistema de archivos 3FS ha demostrado cifras de rendimiento sorprendentes en pruebas de carga intensiva.
- En un clúster de 180 nodos, equipado con SSDs NVMe de 14 TiB y redes InfiniBand de 200 Gbps, alcanzó una velocidad de lectura agregada de 6,6 TiB/s (7,25 TB/s) bajo pruebas de estrés.
- En la prueba GraySort, diseñada para medir el rendimiento de ordenamiento de datos a gran escala, 3FS logró procesar 110,5 TiB en 30 minutos y 14 segundos, alcanzando 3,66 TiB/minuto en un clúster de 25 nodos.
- Para tareas de inferencia con modelos de lenguaje, KVCache en 3FS permitió alcanzar un rendimiento máximo de más de 40 GiB/s por nodo, reduciendo la dependencia de la memoria DRAM para el almacenamiento en caché.
Estos resultados indican que 3FS se posiciona como una solución ideal para infraestructuras de inteligencia artificial y cómputo de alto rendimiento (HPC), donde el almacenamiento y el acceso a datos son cuellos de botella críticos.
Una solución ideal para centros de datos y cargas de trabajo de IA
DeepSeek ha estado utilizando 3FS internamente desde 2019 en sus propios servidores, donde ha demostrado su eficacia en escenarios reales de entrenamiento de modelos de IA. Según la compañía, este sistema de archivos fue clave para conseguir el 80% del rendimiento de un servidor NVIDIA DGX-A100, pero a solo el 50% del costo y con un 60% del consumo energético.
Esto convierte a 3FS en una alternativa altamente competitiva para centros de datos, reduciendo costos operativos y mejorando la eficiencia en el uso de hardware.
Código abierto y accesibilidad para la comunidad de IA
Uno de los aspectos más destacables de 3FS es que DeepSeek ha decidido hacerlo de código abierto, permitiendo que cualquier organización o investigador pueda aprovechar su tecnología para mejorar sus propias infraestructuras.
El código fuente del proyecto está disponible en GitHub:
🔗 Repositorio oficial de 3FS en GitHub
Para aquellos interesados en probar 3FS, la documentación incluye guías detalladas sobre su configuración, instalación y uso en entornos de producción.
Conclusión: 3FS, un paso adelante en la infraestructura para IA
El Fire-Flyer File System (3FS) se presenta como una revolución en el almacenamiento de alto rendimiento para la inteligencia artificial, combinando una arquitectura optimizada para cargas de trabajo de IA con una estrategia de código abierto.
Gracias a su capacidad para maximizar el uso de SSDs modernos y redes de alta velocidad, 3FS ofrece un rendimiento superior a muchas soluciones comerciales, permitiendo que empresas y centros de datos reduzcan costos y aceleren la investigación en IA.
Con este lanzamiento, DeepSeek AI sigue demostrando que China no solo ha alcanzado a sus competidores en IA, sino que también está innovando en la infraestructura necesaria para su desarrollo a gran escala.
