El Instituto de Innovación Tecnológica de los Emiratos Árabes Unidos (TII) publicó en septiembre de 2023 Falcon 180B, un modelo de lenguaje de 180.000 millones de parámetros entrenado con 3,5 billones de tokens. Al publicarse, encabezaba el Hugging Face Open LLM Leaderboard para modelos de acceso abierto, superando a Llama 2 de Meta en tareas de razonamiento, codificación y evaluación de conocimiento. Es el sucesor de Falcon 40B, que ya había ocupado esa misma posición unos meses antes.
Cómo se compara con GPT-4 y PaLM 2
Entre los modelos de código cerrado, Falcon 180B queda justo por detrás de GPT-4 de OpenAI en los benchmarks publicados por el TII. Rinde al nivel de PaLM 2 Large de Google, el modelo que potencia Bard, con la mitad de parámetros. El modelo está disponible para investigación y uso comercial bajo la Falcon-180B TII License, con su correspondiente Política de Uso Aceptable.
Ficha técnica
- Desarrollador: Instituto de Innovación Tecnológica de los EAU
- Arquitectura: Causal decoder-only con multiquery attention (optimizada para inferencia)
- Idiomas principales: Inglés, Alemán, Español y Francés; capacidades limitadas en italiano, portugués, polaco, holandés, rumano, checo y sueco
- Licencia: Falcon-180B TII License (uso comercial permitido con condiciones)
Requisitos de hardware y cómo usarlo
Por su tamaño, Falcon 180B supera lo que los transformadores convencionales pueden manejar en una única GPU. Para ejecutar inferencias rápidas hacen falta al menos 400 GB de VRAM, lo que lo pone fuera del alcance de la mayoría de configuraciones de usuario. El TII recomienda usar la Text Generation Inference (TGI) de Hugging Face para despliegues en producción. El coste de infraestructura para modelos de este tamaño se ha convertido en un factor que determina quién puede adoptarlos realmente, no solo quién tiene acceso a la licencia.
Existe también la variante Falcon-180B-Chat, adaptada para instrucciones en formato de chat. Para quienes buscan modelos más ligeros y baratos de ejecutar, el TII ofrece Falcon-7B y Falcon-40B como alternativas de la misma familia.
Puedes consultar la documentación y el modelo base en el sitio oficial de Falcon LLM y probar la demo en Hugging Face Spaces.
Preguntas frecuentes
¿Qué es Falcon 180B y quién lo ha desarrollado?
Falcon 180B es un modelo de lenguaje de acceso abierto desarrollado por el Instituto de Innovación Tecnológica (TII) de los Emiratos Árabes Unidos, con 180.000 millones de parámetros y entrenado con 3,5 billones de tokens.
¿Cuánta VRAM necesita Falcon 180B para ejecutarse?
Al menos 400 GB de VRAM para inferencias rápidas. Eso lo sitúa fuera del alcance de GPU de consumo y requiere clústeres de GPU o acceso a plataformas de inferencia en la nube.
¿Falcon 180B permite uso comercial?
Sí, bajo la Falcon-180B TII License y la Política de Uso Aceptable del TII. A diferencia de algunos competidores como Llama 2, la licencia no tiene clausulas basadas en número de usuarios, aunque hay restricciones en cuanto a usos que puedan considerarse perjudiciales.
¿Cómo se compara Falcon 180B con GPT-4?
En los benchmarks publicados al lanzamiento, Falcon 180B queda justo por detrás de GPT-4 entre los modelos de código cerrado, y rinde al nivel de PaLM 2 Large de Google. Es el modelo de acceso abierto más capaz publicado hasta esa fecha, según el Hugging Face Open LLM Leaderboard.
