En la conferencia de supercomputación SC23 (noviembre de 2023), Nvidia presentó la GPU HGX H200 y el superchip Grace Hopper GH200, dos piezas de hardware que marcan el siguiente paso en la carrera por la potencia de cálculo para inteligencia artificial y computación de alto rendimiento (HPC). Los centros que adoptan el GH200 alcanzan 200 exaflops de rendimiento en IA, una cifra que da idea de la escala a la que se mueve la infraestructura necesaria para entrenar y ejecutar los modelos más grandes del momento.
La H200: qué cambia respecto a la A100
La HGX H200 mantiene la arquitectura Hopper de su predecesora, la H100, pero sustituye la memoria HBM3 por HBM3e. El resultado es 141 GB de memoria con un ancho de banda de 4,8 TB por segundo, el doble que la A100. Ese incremento en el ancho de banda de memoria es especialmente relevante para la inferencia en modelos de lenguaje de gran tamaño (LLM): cuanto mayor es el modelo, más datos necesita mover entre la memoria y los núcleos Tensor Core en cada paso del cálculo. La H200 duplica la velocidad de inferencia en modelos como Llama 2 de 70.000 millones de parámetros respecto a generaciones anteriores.
Los núcleos Tensor Core de la H200 siguen siendo los mismos que los de la H100 (Núcleos NVIDIA H200 Tensor), lo que significa que la ganancia de rendimiento viene principalmente del incremento en ancho de banda de memoria. Para cargas de trabajo donde el cuello de botella es la E/S de memoria y no la potencia de cálculo, el salto es directo. Para cargas que ya saturan los Tensor Core, la mejora es más moderada.
El superchip GH200: Grace + Hopper en un solo die
El superchip Grace Hopper GH200 combina una GPU H200 con una CPU Nvidia Grace en el mismo paquete, conectadas mediante NVLink-C2C en lugar del bus PCIe tradicional. Eso sube el ancho de banda CPU-GPU a 900 GB/s (frente a los ~64 GB/s del PCIe 5.0) y reduce significativamente el consumo energético de la interconexión. El resultado es un sistema donde la CPU y la GPU comparten un espacio de memoria unificado de hasta 624 GB (480 GB LPDDR5X de la CPU + 144 GB HBM3e de la GPU).
Este diseño es especialmente útil para aplicaciones que alternan entre cálculo en CPU y en GPU con frecuencia, o que manejan conjuntos de datos que no caben en la memoria de la GPU sola. En HPC científico, muchas simulaciones tienen exactamente ese perfil de acceso a datos. La ejecución de modelos como Llama 2 de 70.000 millones de parámetros se beneficia directamente del mayor ancho de banda de memoria que ofrece el GH200.
DGX GH200: el superordenador con 144 TB de memoria compartida
Nvidia también anunció el DGX GH200, un sistema basado en 256 superchips GH200 interconectados mediante NVLink Switch. La cifra clave es 144 terabytes de memoria compartida accesible para todas las GPUs, lo que Nvidia describe como casi 500 veces más que las alternativas anteriores para ese tipo de configuración.
El DGX GH200 es el primer sistema en superar la barrera de los 100 TB de memoria accesible directamente desde las GPUs a través de NVLink. Eso tiene implicaciones prácticas para el entrenamiento de modelos con billones de parámetros: hasta ahora, para trabajar con esos modelos era necesario distribuir los pesos entre múltiples nodos con comunicación de red, lo que introduce latencia y complejidad. Con 144 TB accesibles como un único espacio de memoria, parte de ese paralelismo se simplifica. La carrera por el liderazgo en supercomputación tiene ahora un componente de IA que va más allá de los exaflops de cálculo general.
Centros que ya usan el GH200
En el momento del anuncio, dos centros de supercomputación de referencia ya habían adoptado el GH200. El Centro de Supercomputación Jülich (Alemania) y el Centro Nacional de Aplicaciones de Supercomputación (NCSA) de la Universidad de Illinois Urbana-Champaign (EE.UU.) son los casos iniciales. Ambos tienen perfiles de uso que mezclan cálculo científico tradicional con cargas de trabajo de IA, exactamente para lo que está optimizado el GH200.
La H200 también está disponible como acelerador en los principales proveedores de nube pública: Amazon Web Services, Google Cloud, Microsoft Azure y Oracle Cloud, lo que permite su uso bajo demanda sin inversión en hardware propio.
Preguntas frecuentes
¿Cuál es la diferencia entre la H200 y la H100?
La H200 mantiene la misma arquitectura Hopper y los mismos núcleos Tensor Core que la H100, pero actualiza la memoria de HBM3 a HBM3e: 141 GB de capacidad y 4,8 TB/s de ancho de banda, el doble que la A100 y un 76% más que la H100 estándar. La ganancia principal es en tareas donde la velocidad de acceso a memoria es el cuello de botella, como la inferencia en LLM grandes.
¿Qué son los exaflops y por qué importa llegar a 200?
Un exaflop equivale a 10^18 operaciones de punto flotante por segundo. Los 200 exaflops del GH200 se refieren a rendimiento de IA (precisión reducida, como FP8), no a doble precisión (FP64). Es una cifra de referencia para comparar la capacidad de cálculo entre sistemas HPC orientados a IA.
¿Qué ventaja tiene el NVLink-C2C sobre PCIe?
NVLink-C2C ofrece 900 GB/s de ancho de banda entre la CPU Grace y la GPU H200, frente a los ~64 GB/s del PCIe 5.0. Eso permite mover datos entre CPU y GPU mucho más rápido y con menos latencia, lo que es clave para aplicaciones que alternan cálculo entre ambos procesadores o que manejan datasets que no caben solo en la VRAM de la GPU.
¿El DGX GH200 está disponible en la nube?
Sí. Amazon Web Services, Google Cloud, Microsoft Azure y Oracle Cloud ofrecen acceso a sistemas basados en H200 y GH200. Para organizaciones que no quieren invertir en hardware propio, la nube es la vía más rápida para acceder a estas capacidades de cálculo.
¿Qué tipo de modelos se benefician más de la H200?
Los modelos grandes de lenguaje (LLM) con decenas de miles de millones de parámetros, como Llama 2 de 70.000 millones, y los modelos de difusión de alta resolución. En ambos casos, el cuello de botella durante la inferencia suele ser la velocidad de carga de pesos desde la VRAM, exactamente lo que mejora el mayor ancho de banda HBM3e de la H200.
