Free Music Demixer es una aplicación web que separa los componentes de una canción, voz, bajo, batería y otros instrumentos, directamente en el navegador del usuario. Sin servidores externos, sin cola de espera y sin límite de uso. Creada y mantenida por el desarrollador Sevag H., funciona con el modelo Open-Unmix (variante UMX-L) compilado en WebAssembly.
Cómo funciona la separación de fuentes
La separación de fuentes musicales es el proceso de aislar cada instrumento o pista de una grabación mezclada. Hasta hace poco requería acceso a los stems originales del estudio o a modelos ejecutándose en servidores con GPU costosas.
Free Music Demixer desplaza toda la computación al dispositivo del usuario. El modelo de inferencia está escrito en C++ usando Eigen3 para operaciones matriciales y compilado a WebAssembly con Emscripten. Los pesos del modelo, que en su versión original ocupan 424 MB, quedan cuantizados a enteros de 8 bits y comprimidos con gzip hasta 45 MB, lo suficiente para cargarse en un navegador moderno.
El resultado de cada procesamiento son cinco pistas WAV en estéreo a 44.100 Hz: voz, bajo, batería, una categoría «otros» y una pista de karaoke (bajo + batería + otros sin la voz).
Diferencias con otros servicios similares
La mayoría de servicios del mismo tipo envían el archivo a un servidor remoto, lo procesan con GPU y devuelven el resultado tras una espera de varios minutos. Eso implica ceder el control del archivo y asumir un coste, directo o indirecto.
Las herramientas de IA para equipos de producto suelen seguir ese modelo de infraestructura centralizada. Free Music Demixer lo invierte: nada sale del ordenador del usuario. No hay privacidad que gestionar porque no hay datos que transmitir.
La contrapartida es el consumo local de recursos. La tarea puede llegar a usar hasta 4 GB de RAM y es intensiva en CPU. En smartphones el rendimiento es lento y pistas muy largas pueden causar problemas de memoria.
Casos de uso
Las pistas separadas tienen aplicaciones muy concretas: crear versiones karaoke, estudiar la línea de bajo o batería de una grabación para fines educativos, producir remezclas con elementos aislados o transcribir música sin interferencias de otros instrumentos. Solo para uso no comercial: la licencia de los pesos UMX-L lo restringe expresamente.
Detalles técnicos
El proyecto sigue la línea de GGML, el entorno de inferencia que también usa whisper.cpp y llama.cpp, y su enfoque de IA en el cliente. Se basa en umx.cpp con tres modificaciones principales para el entorno web: pesos cuantizados a int8 y comprimidos, arquitectura LSTM en modo streaming para pistas largas e inferencia segmentada tomada de Demucs para evitar colapsos de memoria.
El desarrollo sigue activo. La hoja de trabajo incluye mejorar umx.cpp e integrar Demucs, que supera a Open-Unmix en calidad de separación pero exige más cómputo. El coste de la inferencia en servidores remotos es uno de los factores que impulsan proyectos como este: llevar los modelos al cliente reduce la factura de infraestructura a cero para el usuario final, a cambio de necesitar un ordenador con suficiente RAM.
Preguntas frecuentes
¿Qué formatos de entrada acepta Free Music Demixer?
Acepta prácticamente cualquier formato de audio habitual (MP3, WAV, FLAC, OGG, entre otros). Las salidas son siempre WAV estéreo a 44.100 Hz.
¿Los archivos se suben a algún servidor?
No. Todo el procesamiento ocurre en el navegador del usuario mediante WebAssembly. Los archivos nunca abandonan el dispositivo.
¿Puedo usar las pistas resultantes en proyectos comerciales?
No. La licencia de los pesos del modelo UMX-L restringe el uso a aplicaciones no comerciales.
¿Funciona bien en móviles?
Funciona, pero el rendimiento es lento en smartphones por la intensidad de CPU que requiere el proceso. Se recomienda usarlo en un ordenador de sobremesa o portátil con al menos 4 GB de RAM disponible.
¿Qué es WebAssembly?
WebAssembly (Wasm) es un formato binario que los navegadores modernos ejecutan de forma nativa con un rendimiento cercano al código nativo. Permite correr aplicaciones escritas en C o C++ directamente en el browser, sin instalar nada en el sistema.
