
Mixtral-8x7B de Mistral AI: SMoE open source que iguala a GPT-3.5
Mistral AI publicó a mediados de diciembre de 2023 Mixtral-8x7B, un modelo de lenguaje de código abierto bajo licencia Apache 2.0 que usa una arquitectura de mezcla dispersa de expertos (Sparse Mixture of Experts, SMoE). Con 46.700 millones de parámetros en total pero solo 12.900 millones activos por token, el modelo logra resultados comparables a GPT-3.5 con un coste de












