Hoy, Mistral AI ha revelado la familia de modelos Mistral 3, un conjunto de modelos multilingües y multimodales de código abierto, optimizados para plataformas de computación de alto rendimiento de NVIDIA y dispositivos edge. Mistral Large 3 es un modelo MoE (mixture-of-experts), que optimiza su eficiencia activando únicamente las partes del modelo con mayor impacto, resultando en un uso eficiente de recursos sin comprometer la precisión. Esto hace que la inteligencia artificial para empresas sea no solo posible, sino también práctica.
Los nuevos modelos ofrecen una precisión y eficiencia líderes en la industria para aplicaciones de inteligencia artificial empresarial. Estarán disponibles en la nube, en centros de datos y en dispositivos edge a partir del martes, 2 de diciembre. Con 41 mil millones de parámetros activos, 675 mil millones en total y una ventana de contexto de 256K, Mistral Large 3 ofrece escalabilidad, eficiencia y adaptabilidad para cargas de trabajo de inteligencia artificial.
Al combinar los sistemas NVIDIA GB200 NVL72 con la arquitectura MoE de Mistral AI, las empresas pueden desplegar y escalar modelos de inteligencia artificial masivos de manera eficiente, beneficiándose del paralelismo avanzado y las optimizaciones de hardware. Este avance se considera un paso hacia una era de ‘inteligencia distribuida’, puenteando la brecha entre los avances en investigación y las aplicaciones del mundo real.
La arquitectura granular de MoE del modelo aprovecha los beneficios de la paralelización de expertos a gran escala utilizando la memoria coherente de NVIDIA NVLink y optimizaciones de paralelismo amplio. Estas mejoras se combinan con optimizaciones de inferencia disgregada y precisas, conservando así la precisión y asegurando un rendimiento máximo para el entrenamiento a gran escala.
En el sistema GB200 NVL72, Mistral Large 3 obtuvo un aumento notable en el rendimiento comparado con la generación previa, traducido en una mejor experiencia de usuario, menor costo por token y una mayor eficiencia energética. Además, Mistral AI también ha lanzado nueve modelos pequeños para facilitar el funcionamiento de la IA en cualquier entorno.
La serie compacta Ministral 3 está optimizada para ejecutarse en las plataformas edge de NVIDIA, como Spark, PCs y laptops RTX, y dispositivos Jetson. NVIDIA colabora con framworks líderes de inteligencia artificial para garantizar el rendimiento óptimo en la periferia de la red. Hoy, desarrolladores pueden probar la suite Ministral 3 para una inteligencia artificial rápida y eficiente en el edge.
La familia de modelos Mistral 3 está disponible de manera abierta, empoderando a investigadores y desarrolladores en todo el mundo para que experimenten, personalicen y aceleren la innovación en inteligencia artificial, democratizando el acceso a tecnologías de primera línea. Además, estos modelos están vinculados a herramientas de código abierto de NVIDIA NeMo, facilitando su personalización para casos de uso específicos y acelerando el paso del prototipo a la producción.
NVIDIA ha optimizado los marcos de inferencia, incluyendo TensorRT-LLM, SGLang y vLLM, para la familia de modelos Mistral 3 desde la nube hasta el edge. Estos modelos están disponibles en plataformas de código abierto y proveedores de servicios en la nube, y se espera que pronto estén desplegables como microservicios NVIDIA NIM. Allí donde la IA necesite estar, estos modelos están listos para adaptarse.
Fuente: Zona de blogs y prensa de Nvidia
