En la última edición de MLPerf Inference v5.1, NVIDIA ha establecido nuevos récords en rendimiento de inferencia de IA, destacándose especialmente con su arquitectura Blackwell Ultra. Este avance llega apenas seis meses después del debut de la arquitectura Blackwell en la categoría disponible, mostrando un considerable aumento en el rendimiento con una mejora de hasta un 45% por GPU en comparación con la generación anterior.
La creciente complejidad de los modelos de lenguaje, que ahora cuentan con cientos de miles de millones de parámetros y una capacidad de razonamiento superior, demanda una mayor capacidad de cómputo. Esta tendencia ha impulsado la necesidad de tecnologías que puedan manejar eficientemente estos modelos de gran escala.
En esta nueva edición, MLPerf Inference presenta varios modelos destacados, como DeepSeek-R1, con 671 mil millones de parámetros, y Llama 3.1, que incluye versiones de hasta 405 mil millones de parámetros. Estos modelos han sido puestos a prueba bajo diversos escenarios de rendimiento, subrayando la velocidad y eficiencia de estos sistemas avanzados.
NVIDIA ha aprovechado las capacidades de su sistema GB300 NVL72 y ha implementado técnicas innovadoras como el uso extensivo de NVFP4, una forma de punto flotante que incrementa la eficiencia de cómputo, y estrategias avanzadas de paralelismo, optimizando así la distribución de cargas entre GPUs.
En cuanto a la implementación de los modelos, la arquitectura Blackwell Ultra ha permitido establecer un rendimiento notable en DeepSeek-R1, alcanzando 5.2 veces más rendimiento por GPU en comparación con la arquitectura anterior Hopper.
Además, el nuevo escenario interactivo para Llama 3.1 405B ha demostrado la capacidad de NVIDIA para hacer frente a los más estrictos requisitos de velocidad. Utilizando técnicas de servicio desagregado, se ha logrado mejorar significativamente la eficiencia del sistema al separar las fases de contexto y generación en procesadores distintos, permitiendo una optimización independiente para cada fase.
Estas innovaciones no solo destacan el liderazgo de NVIDIA en el ámbito del rendimiento de modelos de inferencia, sino que también marcan un avance significativo en la capacidad de procesamiento de grandes modelos de lenguaje, confirmando una vez más el papel crucial de las tecnologías de inteligencia artificial en el futuro del cómputo de alto rendimiento.
Fuente: Zona de blogs y prensa de Nvidia
