Mistral AI lanzó el 17 de abril de 2024 Mixtral 8x22B, su nuevo modelo de lenguaje de arquitectura Mixture-of-Experts (MoE), y la plataforma OctoAI lo incorporó de inmediato a su catálogo. El modelo llega tras el éxito de su predecesor, Mixtral 8x7B, y sube de escala de forma notable: 141.000 millones de parámetros en total, aunque solo activa unos 39.000 millones por token gracias a su diseño disperso.
Qué aporta frente al modelo anterior
Mixtral 8x22B incorpora una ventana de contexto de 64.000 tokens, muy por encima de la de su predecesor, lo que mejora la capacidad de recuperar información de documentos largos. Mistral también ha reforzado su rendimiento en matemáticas y programación, y ha añadido soporte nativo para «function calling» con un modo de salida restringida, pensado para integrarlo en aplicaciones que necesitan respuestas con un formato fijo.
Licencia abierta y cómo usarlo
Mistral ha publicado el modelo bajo licencia Apache 2.0, la más permisiva del software libre, sin restricciones de uso comercial. En OctoAI se puede consumir a través de la API REST de completions o con el SDK compatible con OpenAI, y la plataforma ha añadido también una variante ajustada por la comunidad, «community/mixtral-8x22b-finetuned», con los ajustes más usados por los desarrolladores.
Cómo se compara con otros modelos MoE abiertos
Mixtral 8x22B no es el único modelo grande de este tipo que salió en esas semanas. Un mes antes, xAI publicó los pesos de Grok-1, con 314.000 millones de parámetros y la misma arquitectura Mixture-of-Experts, aunque bajo una licencia distinta y sin el mismo enfoque en aplicaciones comerciales. La comparación deja claro que en 2024 varios laboratorios apostaban ya por la dispersión de expertos como forma de escalar sin disparar el coste de inferencia.
Para quién tiene sentido
Interesa a equipos que quieren un modelo potente sin pagar licencia ni depender de una sola API cerrada, y que necesitan personalizarlo vía fine-tuning. No es un modelo para ejecutar en un portátil: aunque solo activa 39.000 millones de parámetros por token, cargar los 141.000 millones completos en memoria exige varias GPU de gama alta o un proveedor cloud como OctoAI.
Qué ha sido de Mistral después
La compañía francesa ha seguido invirtiendo en su catálogo de modelos abiertos y en su expansión hacia sectores industriales: dos años después, Mistral compró la startup austriaca Emmi AI para reforzar su oferta de IA aplicada a la industria.
Preguntas frecuentes
¿Cuántos parámetros tiene Mixtral 8x22B?
141.000 millones en total, de los que solo activa unos 39.000 millones por token gracias a su arquitectura Mixture-of-Experts.
¿Qué ventana de contexto tiene?
64.000 tokens, suficiente para trabajar con documentos largos sin perder información relevante.
¿Es gratis usar Mixtral 8x22B?
El modelo está publicado bajo licencia Apache 2.0, sin coste de licencia y sin restricciones de uso comercial. El gasto viene del hardware o del proveedor cloud que se use para ejecutarlo.
¿Cómo se accede al modelo en OctoAI?
A través de la API REST de completions o con el SDK compatible con OpenAI, además de una variante ajustada por la comunidad.
vía: Octo.ai
