Microsoft ha presentado su nuevo modelo de lenguaje Mu, diseñado específicamente para ejecutarse en dispositivos de forma local y con alta eficiencia energética. Este pequeño pero potente modelo es el responsable de dar vida al nuevo agente inteligente de Configuración en Windows, actualmente disponible para los miembros del programa Windows Insider en dispositivos Copilot+.
Con un tamaño de solo 330 millones de parámetros, Mu ha sido creado desde cero con un enfoque en rendimiento y velocidad, priorizando la ejecución sobre Unidades de Procesamiento Neuronal (NPUs), como las de Qualcomm, AMD o Intel. El objetivo: permitir que las tareas basadas en lenguaje natural —como modificar configuraciones del sistema— se realicen en menos de medio segundo, sin depender de la nube.
Un modelo pequeño con ambiciones grandes
Mu utiliza una arquitectura encoder-decoder optimizada para minimizar la latencia y maximizar la eficiencia. A diferencia de los modelos tradicionales que procesan toda la entrada y salida de manera conjunta, esta arquitectura permite separar el análisis del texto de la generación de la respuesta. Esto reduce drásticamente el uso de memoria y mejora el rendimiento, especialmente en dispositivos con recursos limitados.
Microsoft destaca que Mu puede superar los 100 tokens por segundo en producción y que su latencia para el primer token es hasta un 47% menor que la de otros modelos similares con arquitectura decoder-only.
Diseñado para el hardware moderno
El desarrollo de Mu ha tenido en cuenta los límites físicos de las NPUs integradas en los Copilot+ PCs. Por eso, se han elegido dimensiones internas del modelo que se ajustan a las preferencias de paralelización de estos chips, incluyendo el uso compartido de pesos para reducir el tamaño total del modelo.
A través de una combinación de normalización dual (dual layer norm), embeddings rotacionales (RoPE) y atención con agrupación de consultas (Grouped-Query Attention), Mu consigue mantener una alta precisión en tareas complejas, como las búsquedas dentro de Configuración de Windows, incluso con menos parámetros que modelos como Phi-3.5-mini.
Entrenamiento eficiente y personalizado
El modelo fue entrenado en GPUs A100 de Azure y se perfeccionó mediante técnicas como distillation y Low-Rank Adaptation (LoRA), lo que le permitió captar parte del conocimiento de modelos mayores como Phi, pero sin heredar su tamaño o latencia.
Microsoft afinó posteriormente Mu para tareas concretas —como el nuevo asistente de Configuración de Windows— usando más de 3,6 millones de muestras de entrenamiento generadas sintéticamente, cubriendo cientos de posibles ajustes del sistema. Esto permitió que el modelo respondiera con alta precisión y rapidez, incluso ante consultas ambiguas como «subir el brillo» o «activar modo oscuro».
¿Cómo mejora tu experiencia en Windows?
Gracias a Mu, los usuarios de Copilot+ pueden ahora escribir frases naturales como “Quiero cambiar el fondo de pantalla” o “Pon el sistema en modo oscuro” directamente en el cuadro de búsqueda de Configuración. El modelo interpreta la intención y ejecuta la acción correspondiente, reduciendo el número de clics y la frustración de navegar por múltiples menús.
Además, Microsoft ha integrado medidas de fallback: si el modelo no detecta una intención clara en una consulta corta (por ejemplo, “brillo”), se mostrarán resultados de búsqueda tradicionales en lugar del agente, garantizando siempre una respuesta útil.
Cuatro claves técnicas de Mu
- Ejecución local en NPUs: No depende de la nube, protege la privacidad y reduce latencia.
- Velocidad extrema: Más de 100 tokens por segundo y menos de 500 ms por consulta.
- Optimización por hardware: Adaptado para Qualcomm Hexagon, Intel NPU y AMD Ryzen AI.
- Aprendizaje sintético: Entrenado con millones de ejemplos generados automáticamente.
Lo que viene
Microsoft promete seguir ampliando las capacidades de Mu, incorporando más funciones y ampliando el soporte para nuevas configuraciones del sistema. También se estudia su uso en otros contextos del sistema operativo y aplicaciones de productividad.
Los usuarios que ya lo están probando pueden enviar su feedback a través del programa Windows Insider, ayudando a refinar una de las apuestas más audaces de Microsoft en el camino hacia una inteligencia artificial local, privada y en tiempo real.
Fuente: blog Windows
