A finales de noviembre de 2023, Microsoft y AMD anunciaron una colaboración para el desarrollo de chips específicos para IA. La alianza permite a Microsoft diseñar sus propios aceleradores, reducir la dependencia exclusiva de NVIDIA y mejorar el rendimiento y la eficiencia de sus servicios en la nube, incluidos los modelos de Azure OpenAI. AMD aporta en este acuerdo su experiencia en arquitectura de chips y su familia de GPUs INSTINCT, orientadas a cargas de trabajo de entrenamiento e inferencia a gran escala.
La noticia llega en un contexto de presión extrema sobre la cadena de suministro de hardware para IA. La demanda de GPUs supera ampliamente la oferta disponible, lo que ha elevado el precio de los chips de cálculo para IA y ha obligado a las grandes tecnológicas a buscar alternativas al modelo de dependencia total de un solo fabricante.
Por qué las GPUs son el cuello de botella de la IA
Los modelos de lenguaje grande (LLM) y los sistemas de visión artificial requieren miles de millones de operaciones de punto flotante en paralelo. Las GPUs (unidades de procesamiento gráfico) son las únicas que hoy pueden ejecutar esa carga de forma eficiente a escala, gracias a su arquitectura con miles de núcleos de cálculo funcionando en paralelo. Un chip como la NVIDIA H100 maneja hasta 3.958 teraFLOPS en precisión FP8 para cargas de transformers, lo que la sitúa muy por encima de cualquier CPU convencional para este tipo de trabajo.
El problema es que NVIDIA controla la mayor parte del mercado de chips para entrenamiento de IA, y sus plazos de entrega durante 2023 se extendieron a varios meses. Para empresas como Microsoft, Google o Amazon que necesitan decenas de miles de chips para mantener sus servicios, esa dependencia tiene un coste real tanto en dinero como en capacidad de planificación.
Granjas de GPUs: infraestructura para el entrenamiento
Para entrenar y servir modelos a escala, los labs de IA y los proveedores de nube operan lo que se conoce como «granjas de GPUs»: instalaciones con miles de tarjetas gráficas interconectadas mediante redes de alta velocidad (InfiniBand o Ethernet a 400G). Estas instalaciones consumen decenas de megavatios y requieren sistemas de refrigeración avanzados, en algunos casos con refrigeración líquida directa sobre los chips.
El crecimiento del tamaño de los modelos, de 7.000 millones de parámetros en adelante, hace que las granjas deban escalar en paralelo. GPT-4 se entrenó con varios miles de GPUs H100 durante semanas; los modelos que vienen requerirán aún más capacidad. La colaboración Microsoft-AMD busca diversificar esta base de hardware y reducir costes operativos.
La calidad del dato, el otro problema
Más allá del hardware, el entrenamiento de modelos competitivos depende de la calidad y el volumen de los datos. Los modelos de lenguaje consumen corpus de texto medidos en billones de tokens; los de visión necesitan millones de imágenes etiquetadas. Gestionar ese volumen con garantías de seguridad, limpieza y cumplimiento normativo es uno de los retos menos visibles pero más costosos del desarrollo de IA.
El tema del hardware para IA tiene más capas de las que parece. El debate sobre la nomenclatura de los nodos de chip que reabre IBM con su tecnología de 0,7 nm muestra hasta qué punto el marketing y la realidad técnica no siempre van de la mano. Y si te interesa cómo Microsoft usa la IA en sus propios modelos más allá del hardware, el lanzamiento de PHI 4 ilustra la apuesta de la compañía por modelos pequeños y eficientes.
Preguntas frecuentes sobre chips de IA y GPUs
¿Por qué las GPUs son mejores que las CPUs para entrenar modelos de IA?
Las GPUs tienen miles de núcleos de cálculo diseñados para operar en paralelo, lo que encaja perfectamente con las operaciones matriciales que exigen los modelos de aprendizaje profundo. Las CPUs tienen entre 8 y 128 núcleos muy potentes pero son secuenciales en comparación. Para tareas de entrenamiento con millones de parámetros, la diferencia de rendimiento puede ser de 10x a 100x.
¿Qué aporta AMD a la colaboración con Microsoft para chips de IA?
AMD aporta su arquitectura de GPU para IA (la familia Instinct, con la MI300X como modelo tope de gama en 2023) y su experiencia en diseño de chips. Esto permite a Microsoft diseñar aceleradores optimizados para sus cargas de trabajo específicas en Azure, sin depender exclusivamente de los roadmaps de NVIDIA.
¿Qué es una granja de GPUs en el contexto de la IA?
Es una instalación con decenas o miles de GPUs interconectadas que se usa para entrenar modelos de IA a gran escala o para servir inferencias a alta demanda. Están equipadas con redes de alta velocidad (InfiniBand o Ethernet 400G) y sistemas de refrigeración avanzados, y consumen potencias de megavatios por instalación.
¿Cuántos parámetros tiene un modelo de lenguaje grande?
Los modelos que se consideran LLM (modelos de lenguaje grande) tienen a partir de 7.000 millones de parámetros. GPT-4 no tiene un número público oficial, pero estimaciones del sector apuntan a más de un billón. Claude 3 Opus, Llama 3.1 405B o Mistral Large tienen entre 70.000 millones y 400.000 millones de parámetros. El tamaño del modelo es un factor importante pero no el único que determina la calidad.
¿Por qué Microsoft quiere desarrollar sus propios chips de IA?
La dependencia total de un único proveedor (NVIDIA) supone un riesgo de suministro, un coste alto y una limitación en la capacidad de personalizar el hardware según las cargas de trabajo propias. Desarrollar chips propios o colaborar con AMD da a Microsoft más control sobre la hoja de ruta tecnológica de Azure y reduce la presión sobre los márgenes cuando la demanda de GPU es alta.
