El 27 de septiembre de 2023, Mistral AI, la startup francesa fundada cinco meses antes, publicó su primer modelo de lenguaje (LLM): Mistral 7B. El método de distribución era inusual: un enlace de torrent en un tweet, sin página de producto, sin formulario de registro y sin cola de espera. El modelo estaba disponible en minutos para cualquier persona con conexión a internet.
Rendimiento con 7.000 millones de parámetros
Mistral 7B tiene 7.000 millones de parámetros. Según la empresa, supera a Llama 2 13B (el doble de tamaño) en todos los benchmarks comparados y a Llama 1 34B en la mayoría. En tareas de código, supera a Code Llama 7B. El modelo usa Grouped-Query Attention (GQA) para inferencia rápida y Sliding Window Attention (SWA) para manejar secuencias largas con menos uso de memoria.
La licencia es Apache 2.0, que permite uso comercial sin restricciones adicionales. El modelo está disponible en Hugging Face y en el repositorio de GitHub de Mistral AI.
Sin filtros de contenido: la parte polémica
Lo que generó más debate no fue el rendimiento, sino la ausencia de moderación. A diferencia de los modelos de OpenAI, Anthropic o Meta, que aplican filtros para rechazar peticiones dañinas, Mistral 7B no tiene ninguno en su versión base. Tests realizados por medios especializados confirmaron que el modelo proporciona instrucciones detalladas sobre actividades peligrosas que otros modelos rechazan.
La postura de Mistral fue directa: Mistral 7B es un modelo base, no un asistente afinado. La moderación es una capa que el desarrollador debe añadir si la necesita. La empresa no respondió con detalle a las preguntas sobre seguridad que se le plantearon tras el lanzamiento.
Contexto: la startup detrás del modelo
El lanzamiento llegó tres meses después de que Mistral AI cerrara una ronda semilla de 105 millones de euros en junio de 2023, la mayor de esa categoría en Europa hasta ese momento. La empresa fue fundada por Arthur Mensch (ex DeepMind), Guillaume Lample y Timothée Lacroix (ambos ex Meta AI Research). El argumento de Mistral era que un laboratorio europeo con menos recursos puede publicar un modelo competitivo en rendimiento con los que publican los laboratorios americanos con presupuestos mucho mayores.
El debate sobre moderación en LLMs de código abierto no es nuevo, pero Mistral 7B lo volvió a poner sobre la mesa. OpenAI integra capas de seguridad en sus modelos; Meta publica Llama con una licencia de uso aceptable que prohíbe expresamente ciertos usos; Mistral optó por publicar el modelo base sin restricciones.
Preguntas frecuentes
¿Qué es Mistral 7B?
Mistral 7B es un modelo de lenguaje de 7.000 millones de parámetros publicado por la startup francesa Mistral AI en septiembre de 2023 bajo licencia Apache 2.0. Fue el primer modelo que publicó la empresa y está disponible en Hugging Face y GitHub.
¿Por qué Mistral 7B fue polémico?
Porque no incluye filtros de moderación en su versión base. Tests de medios especializados mostraron que genera respuestas sobre actividades peligrosas que otros modelos rechazan. Mistral argumentó que la moderación es responsabilidad del desarrollador.
¿Qué es la licencia Apache 2.0?
Una licencia de código abierto permisiva que permite usar, modificar y distribuir el software, incluyendo con fines comerciales, sin restricciones adicionales.
¿Qué es Grouped-Query Attention?
GQA es una variante de la arquitectura transformer que agrupa las cabezas de atención de consulta para reducir el uso de memoria durante la inferencia, lo que se traduce en respuestas más rápidas sin pérdida notable de calidad.
¿Qué diferencia hay entre un modelo base y un asistente afinado?
Un modelo base (como Mistral 7B) es el resultado del preentrenamiento sobre texto a gran escala, sin instrucciones de seguimiento ni filtros de seguridad. Un asistente afinado aplica sobre ese base un proceso de instruction tuning (y en muchos casos RLHF) para que el modelo siga instrucciones y rechace contenido dañino.
