OmniVoice se ha convertido en uno de los proyectos de síntesis de voz más interesantes del momento para quienes buscan una alternativa abierta a servicios comerciales como ElevenLabs. Desarrollado por el equipo de k2-fsa, el modelo ofrece text-to-speech (TTS) en más de 600 idiomas, clonación de voz con pocos segundos de referencia, diseño de voces mediante instrucciones y una velocidad de generación que sus autores sitúan en hasta 40 veces tiempo real. El código es Apache 2.0, aunque hay un matiz importante: los pesos preentrenados tienen licencia CC BY-NC y, por tanto, no están destinados al uso comercial sin revisar sus condiciones.
Las claves de OmniVoice en 30 segundos
- OmniVoice es un modelo TTS zero-shot capaz de trabajar con más de 600 idiomas dentro de un único sistema.
- Puede clonar una voz a partir de una pequeña muestra de audio y también crear voces describiendo edad, género, tono o acento.
- Utiliza una arquitectura no autorregresiva inspirada en los modelos de difusión.
- Sus autores publican un RTF mínimo de 0,025, equivalente a unas 40 veces tiempo real.
- El código es Apache 2.0, pero los pesos del modelo son CC BY-NC, una diferencia relevante para empresas.
La comparación con ElevenLabs resulta inevitable porque OmniVoice aborda varias de las funciones que han hecho populares a las plataformas comerciales de voz: generar locuciones naturales, mantener la identidad de un hablante y construir nuevas voces sin necesidad de entrenar un modelo desde cero.
Pero no son productos equivalentes.
ElevenLabs ofrece un servicio terminado, con infraestructura, API, controles, herramientas de producción y modelos comerciales. OmniVoice es fundamentalmente un modelo abierto que puede descargarse, estudiarse y desplegarse en infraestructura propia.
Para desarrolladores, investigadores y organizaciones que quieren controlar dónde se procesa el audio, esa diferencia puede ser más importante que disponer de una interfaz especialmente pulida.
Más de 600 idiomas dentro de un único modelo
El dato más llamativo es la cobertura lingüística.
El trabajo presentado por Han Zhu y el resto del equipo describe OmniVoice como un modelo TTS masivamente multilingüe entrenado con 581.000 horas de audio procedentes de recursos abiertos y distribuidas entre más de 600 idiomas. El modelo publicado en Hugging Face aparece etiquetado específicamente para 646 idiomas.
La amplitud importa porque buena parte de los sistemas modernos de clonación de voz funcionan especialmente bien en inglés, chino y un grupo relativamente pequeño de lenguas con abundantes datos.
OmniVoice intenta llevar ese comportamiento zero-shot a idiomas con muchos menos recursos.
En lugar de mantener un modelo diferente para cada lengua, utiliza un sistema unificado basado en un Transformer bidireccional e inicializado a partir de Qwen3-0.6B. Los autores consideran que esa inicialización proporciona al sistema una base lingüística que mejora la inteligibilidad del audio generado.
El modelo principal ronda los 0,6-0,8 mil millones de parámetros según se considere únicamente el backbone o el conjunto utilizado en las evaluaciones. El fichero principal distribuido en Hugging Face ocupa aproximadamente 2,45 GB, acompañado por el tokenizador de audio.
No estamos, por tanto, ante uno de esos modelos de decenas de miles de millones de parámetros que exige un gran clúster únicamente para empezar a probarlo.
Puede clonar una voz con pocos segundos de audio
Uno de los principales casos de uso es la clonación de voz zero-shot.
El usuario proporciona una breve grabación de referencia, junto con su transcripción, y OmniVoice utiliza esas características para sintetizar nuevas frases conservando la identidad vocal.
En la demostración oficial se recomienda trabajar con muestras de aproximadamente 3 a 10 segundos.
Eso permite imaginar aplicaciones bastante evidentes: doblaje, localización, asistentes personales, accesibilidad, audiolibros, prototipos de videojuegos o generación de voces para contenidos.
También introduce riesgos igualmente evidentes.
El repositorio oficial prohíbe expresamente utilizar OmniVoice para suplantaciones no autorizadas, fraude, estafas o clonación de voz sin consentimiento. Tener el modelo ejecutándose localmente elimina parte de la dependencia de servicios externos, pero también traslada al usuario la responsabilidad sobre su uso.
OmniVoice incluye además controles que van más allá de copiar un hablante.
El denominado voice design permite crear una voz utilizando atributos como género, edad, tono, dialecto o acento. También admite indicaciones como voz susurrada y señales paralingüísticas, entre ellas [laughter].
Para determinados términos puede incluso proporcionarse información fonética explícita, como pinyin en chino o fonemas para palabras inglesas cuya pronunciación necesite corregirse.
Una arquitectura diferente para conseguir más velocidad
La parte técnica es también interesante.
Muchos sistemas TTS modernos utilizan varias etapas. Primero convierten el texto en una representación semántica y después transforman esa información en tokens acústicos o audio.
OmniVoice intenta simplificar esa cadena.
Se trata de un sistema NAR (Non-Autoregressive) de una sola etapa basado en difusión discreta. El texto se transforma directamente en múltiples codebooks de tokens acústicos mediante un Transformer bidireccional.
En lugar de producir necesariamente cada token uno detrás de otro, puede trabajar con múltiples posiciones en paralelo y va reconstruyendo los tokens enmascarados durante varias iteraciones.
Los investigadores utilizan 32 pasos de desenmascarado durante la inferencia.
Ese paralelismo explica parte de la velocidad anunciada. El proyecto habla de un Real-Time Factor (RTF) mínimo de 0,025, que equivale aproximadamente a generar 40 segundos de audio por cada segundo de procesamiento en el escenario medido.
La cifra debe interpretarse como un resultado del proyecto bajo unas condiciones concretas, no como una velocidad garantizada en cualquier ordenador.
Hardware, duración del texto, implementación, cuantización y configuración pueden modificar considerablemente el rendimiento.
Los benchmarks lo colocan entre los modelos TTS competitivos
Los autores comparan OmniVoice con Qwen3-TTS, CosyVoice3, VoxCPM, IndexTTS2, F5-TTS, ZipVoice y MaskGCT.
En LibriSpeech-PC, la versión multilingüe consiguió un WER del 1,30 % y una similitud de hablante SIM-o de 0,729. En ese benchmark concreto superó los valores publicados para los demás modelos incluidos en la tabla en inteligibilidad y similitud.
Los resultados no son uniformemente superiores en todas las métricas ni en todos los idiomas.
Qwen3-TTS, por ejemplo, registra una puntuación UTMOS superior en algunas pruebas de naturalidad. En chino también existen diferencias entre sistemas según se observe inteligibilidad, parecido vocal o valoración de la calidad.
Eso hace más razonable describir OmniVoice como un competidor serio dentro del TTS abierto que presentarlo simplemente como un ganador absoluto.
La principal diferenciación parece estar en combinar calidad, velocidad y una cobertura lingüística excepcionalmente amplia dentro del mismo modelo.
Cómo probar OmniVoice en local
El proyecto dispone de una demostración pública en Hugging Face, pero también puede instalarse localmente.
La vía oficial más sencilla utiliza Python y PyTorch. Después de configurar una versión compatible de PyTorch puede instalarse OmniVoice directamente desde PyPI:
python3 -m venv .venvsource .venv/bin/activatepip install omnivoice
También está disponible la versión más reciente desde GitHub:
pip install git+https://github.com/k2-fsa/OmniVoice.git
El repositorio incluye instrucciones para GPU NVIDIA mediante CUDA, Apple Silicon y también Intel XPU.
Existe además soporte comunitario mediante MLX Audio para ejecutar OmniVoice sobre Apple Silicon. En Hugging Face pueden encontrarse conversiones FP32, BF16 y cuantizadas a 8 bits destinadas a adaptar memoria y rendimiento al Mac utilizado.
Aquí conviene distinguir nuevamente entre el proyecto oficial y esos paquetes comunitarios: OmniVoice proporciona la arquitectura y los pesos originales, mientras que las variantes MLX son conversiones realizadas para otro motor de inferencia.
Código abierto sí, pero el modelo no es libre para cualquier uso comercial
Este puede ser el detalle más importante para una empresa que esté evaluando OmniVoice.
El repositorio de código se publica bajo Apache 2.0, una licencia permisiva que permite modificaciones y utilización comercial.
Los pesos preentrenados son otra historia.
El modelo distribuido por k2-fsa en Hugging Face utiliza CC BY-NC, es decir, Creative Commons Attribution-NonCommercial. El propio equipo explica que esta restricción se debe a las condiciones de algunos de los conjuntos de datos utilizados durante el entrenamiento, entre ellos Emilia.
Por tanto, describir OmniVoice simplemente como «una alternativa gratuita y open source a ElevenLabs» puede resultar engañoso para ciertos usos.
Se puede estudiar, probar, ejecutar localmente y modificar el código. Pero una compañía que pretenda incorporarlo directamente a un servicio comercial debe revisar la licencia de los pesos antes de hacerlo.
La diferencia entre licencia del código y licencia del modelo empieza a ser cada vez más importante en la IA abierta.
La voz generativa también se está moviendo hacia el ordenador local
OmniVoice forma parte de una tendencia mucho más amplia.
Qwen3-TTS, Chatterbox, VoxCPM, F5-TTS, CosyVoice y otros proyectos están reduciendo rápidamente la distancia entre los servicios comerciales de síntesis y los modelos que pueden ejecutarse en infraestructura propia.
Esto no significa que servicios como ElevenLabs vayan a dejar de tener sentido. Para muchos usuarios resulta mucho más cómodo pagar por una API gestionada que instalar GPU, mantener modelos y construir toda la plataforma necesaria alrededor de ellos.
Pero la alternativa ya existe.
Un equipo puede disponer de clonación de voz, síntesis multilingüe y diseño de hablantes sin enviar necesariamente las grabaciones a una infraestructura externa.
OmniVoice añade además una característica difícil de ignorar: hacerlo sobre cientos de idiomas con un único modelo.
La próxima batalla del TTS probablemente no se limite, por tanto, a determinar qué sistema produce la voz más humana. También contará cuánto cuesta ejecutarlo, cuántos idiomas puede manejar, dónde se procesan las grabaciones y qué libertades concede realmente su licencia.
Preguntas frecuentes
¿Qué es OmniVoice?
OmniVoice es un modelo de texto a voz zero-shot desarrollado por el equipo k2-fsa. Permite sintetizar y clonar voces y trabaja con más de 600 idiomas dentro de un único modelo.
¿Cuánto audio necesita para clonar una voz?
La demostración oficial permite utilizar una muestra breve, normalmente de unos 3 a 10 segundos, acompañada de la transcripción correspondiente.
¿OmniVoice puede utilizarse gratuitamente?
El código está publicado bajo Apache 2.0 y los pesos pueden descargarse gratuitamente. Sin embargo, los pesos preentrenados tienen licencia CC BY-NC, que restringe el uso comercial.
¿OmniVoice funciona en un Mac?
Sí, el proyecto contempla Apple Silicon y existen implementaciones comunitarias mediante MLX Audio que permiten aprovechar el hardware de los Mac con chips de la serie M.
