En el contexto actual, el acelerado desarrollo de la inteligencia artificial (IA) está impulsando una demanda sin precedentes de conjuntos de datos masivos y ventanas de contexto que superan las limitaciones de la memoria del sistema. Sin embargo, satisfacer estas crecientes necesidades no se limita a aumentar la capacidad de almacenamiento. Lo que realmente se requiere son insights útiles y bien fundamentados por parte de fábricas de IA, así como arquitecturas de almacenamiento eficientes y seguras que permitan obtener esos insights.
Esta semana, durante la conferencia «Future of Memory and Storage» (FMS), NVIDIA revelará nuevos avances en almacenamiento y demostrará cómo el próximo salto en IA depende tanto de la infraestructura de almacenamiento que alimenta la computación acelerada como de la propia potencia de cálculo. La presión sobre esa infraestructura se intensifica a medida que los agentes de IA consumen enormes cantidades de datos, y ahora las GPUs pueden iniciar solicitudes de almacenamiento directamente, generando miles de operaciones concurrentes.
Para atender esas solicitudes, los sistemas de almacenamiento deben cifrar, comprimir, verificar y reconstruir datos de forma continua. Estos servicios críticos de datos pueden convertirse en cuellos de botella cuando miles de agentes acceden al almacenamiento de forma simultánea.
Benchmarks destacados en un blog técnico de NVIDIA muestran que el CPU NVIDIA Vera, parte de NVIDIA Vera BlueField-4 STX, ofrece un rendimiento hasta 3.21 veces superior al de un CPU x86 en un pipeline de compresión y cifrado de dos etapas. Esto significa que con Vera, las plataformas de almacenamiento pueden absorber el caudal de datos de IA de manera más eficiente, ofreciendo un mayor rendimiento con una infraestructura de computación significativamente menor.
Con la computación acelerada, el almacenamiento deja de ser un lugar pasivo para guardar datos y se convierte en una parte activa del camino de los datos. Esto trastoca la antigua economía de determinar cuándo los datos pertenecen a la memoria frente a un disco de almacenamiento. Hace 40 años, la respuesta se medía en acceder a esos datos en minutos. Hoy en día, con GPUs emparejadas con soluciones de almacenamiento de IA de NVIDIA y sus socios, dicho intercambio se produce en microsegundos.
Cerrar la brecha entre las necesidades de la IA y la escasez de memoria depende de un codesarrollo extremo en todo el ecosistema, desde los fabricantes de memoria y almacenamiento hasta el software construido sobre ellos.
Durante la FMS, NVIDIA anunció que está liberando sus APIs cuFile, ofreciendo interoperabilidad para soluciones de almacenamiento. Las APIs cuFile, que forman parte de NVIDIA GPUDirect Storage, permiten que las GPUs lean y escriban directamente en el almacenamiento, no solo los CPUs.
Utilizando cientos de miles de hilos GPU, memoria de alta velocidad y otras metodologías, cuFile posibilita el acceso seguro a datos en cuestión de microsegundos. Esto ilustra cómo la industria se está unificando en torno a una pila de almacenamiento con enfoque de seguridad basada en las mejores prácticas de Linux, proporcionando interoperabilidad entre GPUs y datos.
Además, el acceso rápido y seguro a datos y almacenamiento es un elemento fundamental para impulsar medidas de ciberseguridad preventivas y detectives. Hacer que cuFile esté abiertamente disponible ayudará a que el contexto de seguridad, datos y almacenamiento sea accesible a la velocidad que las defensas impulsadas por IA necesitan.
NVIDIA, junto con líderes de la industria del almacenamiento, está avanzando en una nueva frontera de almacenamiento para IA a través de una iniciativa llamada Storage-Next. Este esfuerzo reúne a fabricantes de almacenamiento, proveedores de controladores, diseño térmico, operadores de refrigeración y cuerpos estándar para alinear el comportamiento del almacenamiento impulsado por GPUs y convertir estos avances en estándares de la industria interoperables y abiertos.
La iniciativa Storage-Next, que incluye más de 40 proveedores líderes de almacenamiento y flash, está contribuyendo a la próxima generación de tecnologías de almacenamiento para IA con NVIDIA. Está centrada en el acceso acelerado a datos para grandes conjuntos de datos de IA. Para apoyar esto, NVIDIA ofrece SCADA, un marco que permite a GPUs masivamente paralelas extraer solo los datos necesarios para la aplicación directamente del almacenamiento a su propia memoria de alta velocidad.
Por ejemplo, DDN está integrando SCADA con Infinia, su plataforma de inteligencia de datos nativa de IA definida por software, diseñada para eliminar cuellos de botella en almacenamiento a gran escala.
«La clave del éxito en IA no radicará en cuánto infraestructura poseen las organizaciones, sino en cuán productivamente la utilizan», comentó Sven Oehme, director de tecnología en DDN.
Storage-Next y SCADA extienden el trabajo prolongado de NVIDIA en infraestructura de almacenamiento para IA, incluyendo NVIDIA Vera BlueField-4 STX, una base modular a escala de rack impulsada por la plataforma NVIDIA Vera Rubin.
La tecnología SCADA ofrece un método seguro y robusto para lograr el acceso directo a gran escala, dividiendo el trabajo en dos partes para garantizar la seguridad de los datos al tiempo que se mejora la eficiencia. Estos avances en infraestructura de almacenamiento para IA permiten a las aplicaciones y fábricas de IA procesar mejor los datos, produciendo inteligencia más útil, precisa y fundamentada a gran escala.
Fuente: Zona de blogs y prensa de Nvidia
