En marzo de 2024, Stability AI publicó un benchmark propio comparando el rendimiento de los aceleradores Intel Gaudi 2 frente a las GPU Nvidia A100 y H100 en el entrenamiento e inferencia de dos de sus modelos, Stable Diffusion 3 y Stable Beluga 2.5 70B, una versión afinada de LLaMA 2 70B. El estudio buscaba responder una pregunta muy concreta para cualquier equipo que entrena modelos, si compensa salir de los chips de Nvidia que dominan el mercado.
Los números del benchmark
Con la versión de 2.000 millones de parámetros de Stable Diffusion 3, en una configuración de 2 nodos con 16 aceleradores, el clúster de Gaudi 2 procesó más de tres veces más imágenes por segundo que las GPU A100 de 80 GB, un resultado llamativo teniendo en cuenta lo optimizado que está el software de Nvidia para este tipo de cargas.
En inferencia con la versión de 8.000 millones de parámetros, Gaudi 2 igualó a los A100 usando PyTorch sin optimizar, pero los A100 sacaron ventaja, un 40% más rápidos, en cuanto Nvidia metió TensorRT en la ecuación. Stability AI apuntaba entonces que futuras optimizaciones de software podían cerrar esa distancia.
El segundo modelo analizado, Stable Beluga 2.5 70B, destacó por su rendimiento en pruebas de entrenamiento usando 256 aceleradores Gaudi 2, y en aquel momento superó a ChatGPT 3.5 en varios benchmarks de referencia.
Qué ha pasado con Gaudi desde entonces
Intel siguió la senda que abrió Gaudi 2 con la llegada de Gaudi 3, presentado en Computex 2025, con el que la compañía sigue intentando hacerse hueco frente al dominio de Nvidia en entrenamiento e inferencia de IA. El mensaje de fondo de aquel benchmark de 2024, que el mercado de cómputo para IA necesita alternativas reales a un solo proveedor, sigue vigente: AMD, Google con sus TPU y hasta OpenAI con su propio chip junto a Broadcom compiten hoy por una parte de una demanda de cómputo que no deja de crecer.
Preguntas frecuentes
¿Qué es Intel Gaudi 2?
Es un acelerador de Intel diseñado para entrenamiento e inferencia de modelos de IA, pensado como alternativa a las GPU de Nvidia en centros de datos.
¿Qué modelos probó Stability AI en su benchmark?
Stable Diffusion 3, su modelo de generación de imágenes, y Stable Beluga 2.5 70B, una versión afinada de LLaMA 2 70B para tareas de lenguaje.
¿Gaudi 2 rindió mejor que las GPU de Nvidia?
En entrenamiento de Stable Diffusion 3 sí, más de tres veces más imágenes por segundo que los A100. En inferencia, los A100 con TensorRT acabaron siendo un 40% más rápidos.
¿Sigue Intel compitiendo con Nvidia en chips de IA?
Sí, con Gaudi 3, presentado en Computex 2025, y con otros fabricantes como AMD, Google y OpenAI también desarrollando alternativas propias.
