La tecnología de inteligencia artificial sigue avanzando a pasos agigantados, y un claro ejemplo de ello es Whisper, un modelo preentrenado para el reconocimiento automático de habla (ASR) y la traducción de habla. Desarrollado por OpenAI, Whisper ha sido entrenado con 680 mil horas de datos etiquetados, mostrando una notable capacidad de generalización a múltiples conjuntos de datos y dominios sin necesidad de ajustes finos.
Tabla de contenidos
El modelo Whisper large-v3, presentado en el trabajo «Robust Speech Recognition via Large-Scale Weak Supervision» de Alec Radford y otros colaboradores de OpenAI, introduce mejoras significativas con respecto a sus predecesores. Entre estas, se destaca el uso de 128 bins de frecuencia Mel en lugar de 80 y la inclusión de un nuevo token para el idioma cantonés.
Con un entrenamiento sobre 1 millón de horas de audio etiquetado débilmente y 4 millones de horas de audio pseudoetiquetado, recopilado mediante el uso de Whisper large-v2, el modelo large-v3 ha logrado reducir los errores entre un 10% y un 20% en comparación con la versión anterior.
Detalles del Modelo Whisper
Whisper se basa en un modelo Transformer de codificador-decodificador, entrenado tanto en inglés como en múltiples idiomas. Su arquitectura le permite realizar tareas de reconocimiento y traducción de habla, prediciendo transcripciones tanto en el idioma original del audio como en otros idiomas.
Existen cinco configuraciones de Whisper, con tamaños que varían desde «tiny» hasta «large-v3», cada una entrenada en datos en inglés o multilingües. Los diez checkpoints preentrenados están disponibles en Hugging Face Hub, accesibles para investigadores y desarrolladores interesados en explorar sus capacidades.
Uso y Aplicaciones de Whisper large-v3
Whisper large-v3 es compatible con la biblioteca Transformers de Hugging Face y se puede implementar fácilmente para transcribir archivos de audio de cualquier longitud. Además, se ha optimizado para ser hasta 9 veces más rápido que el algoritmo secuencial propuesto por OpenAI.
Mejoras en Velocidad y Memoria
Para maximizar su rendimiento, se recomienda utilizar Flash-Attention 2 en GPUs compatibles, lo cual mejora significativamente la velocidad y el consumo de memoria del modelo. También es posible usar BetterTransformers para aquellos GPUs que no soporten Flash Attention.
Fine-Tuning y Usos Evaluados
Aunque Whisper ya demuestra una gran capacidad de generalización, su rendimiento puede ser aún mejorado mediante fine-tuning para tareas y lenguajes específicos. Sin embargo, se recomienda realizar evaluaciones robustas en el contexto y dominio de aplicación específicos antes de su implementación.
Datos de Entrenamiento y Rendimiento
Whisper large-v3 ha sido entrenado con un volumen masivo de audio, lo cual se correlaciona directamente con su rendimiento en transcripción en diferentes idiomas. A pesar de sus avances, el modelo presenta limitaciones, como la generación de textos repetitivos y la posibilidad de «alucinaciones» o generación de texto no presente en el audio.
Implicaciones Más Amplias
La capacidad de transcripción de Whisper podría mejorar significativamente las herramientas de accesibilidad, aunque no está diseñado para transcripción en tiempo real. Sin embargo, su rendimiento y tamaño sugieren que podría servir como base para aplicaciones que permitan reconocimiento de habla y traducción casi en tiempo real.
A pesar de sus potenciales usos beneficiosos, existen preocupaciones sobre la dualidad de uso de Whisper, incluyendo la posibilidad de que sea utilizado para ampliar tecnologías de vigilancia o reconocer individuos específicos.
Este modelo representa un paso significativo en la evolución del reconocimiento y traducción automática de habla, ofreciendo un amplio abanico de posibilidades para su aplicación en diversos campos.
