Intel ha presentado en el evento Intel Vision su nuevo acelerador de IA Gaudi 3, con el que busca hueco en el mercado de IA generativa empresarial. La compañía promete 4 veces más rendimiento de cálculo en BF16, 1,5 veces más ancho de banda de memoria y el doble de ancho de banda de red frente a su predecesor, el Gaudi 2, mejoras pensadas para entrenar e inferir modelos de lenguaje amplio y modelos multimodales.
Precio y disponibilidad como argumento de venta
Intel no vende Gaudi 3 solo por potencia bruta, sino por la combinación de precio, rendimiento, escalabilidad y tiempo de despliegue. «Persiste un vacío significativo en las ofertas actuales del mercado de IA, y nuestros clientes piden más opciones», explicó Justin Hotard, vicepresidente ejecutivo de Intel y responsable del grupo de centros de datos e IA. La idea es clara: dar a empresas de finanzas, manufactura y salud una alternativa a Nvidia mientras estos sectores pasan de proyectos piloto de IA generativa a despliegues a gran escala, algo que exige soluciones abiertas, más baratas y más eficientes en consumo eléctrico.
Gaudi 3 apuesta por software de comunidad abierta e interconexión Ethernet estándar de la industria, en vez de un ecosistema cerrado, lo que en teoría facilita a las empresas escalar sus sistemas sin quedar atadas a un solo proveedor.
Ficha técnica: 5 nm y memoria de sobra
El chip se fabrica en un proceso de 5 nanómetros. Cada acelerador integra un motor de cómputo heterogéneo con 64 núcleos TPC (Tensor Processor Core) program«les y ocho MME (Matrix Multiplication Engine), cada uno capaz de 64.000 operaciones paralelas, pensado para las operaciones matriciales que dominan el aprendizaje profundo.
A eso se suman 128 GB de memoria HBMe2, 3,7 TB/s de ancho de banda de memoria y 96 MB de SRAM integrada. Más memoria por chip significa procesar conjuntos de datos GenAI grandes con menos aceleradores, lo que se traduce en menos hardware necesario por carga de trabajo y menor coste total para el centro de datos.
De un nodo a miles, con PyTorch y Hugging Face
Gaudi 3 está diseñado para escalar desde un solo nodo hasta despliegues de miles de aceleradores, según las necesidades de cada modelo GenAI. La integración del software Gaudi con PyTorch y con modelos optimizados de la comunidad de Hugging Face busca que los desarrolladores no tengan que reescribir su stack para adoptarlo.
Intel prevé disponibilidad de Gaudi 3 en el mercado durante el segundo y tercer trimestre de 2024, y lo presenta como paso previo a Falcon Shores, la siguiente generación de GPU de Intel para IA y computación de alto rendimiento, que unificará la propiedad intelectual de Gaudi y de Intel Xe bajo una única interfaz de programación basada en oneAPI. Años después, Intel seguiría esa misma línea con propuestas como Crescent Island, una GPU de IA pensada para esquivar la escasez de memoria HBM.
Preguntas frecuentes
¿Qué mejoras trae Gaudi 3 frente a Gaudi 2?
4 veces más rendimiento de cálculo en BF16, 1,5 veces más ancho de banda de memoria y el doble de ancho de banda de red.
¿Cuánta memoria integra Gaudi 3?
128 GB de memoria HBMe2, con 3,7 TB/s de ancho de banda y 96 MB de SRAM a bordo.
¿Cuándo estará disponible Gaudi 3?
Intel previó su llegada al mercado durante el segundo y tercer trimestre de 2024, como paso previo a la GPU Falcon Shores.
