Falcon 180B, el modelo de lenguaje abierto más potente del mundo

El Instituto de Innovación Tecnológica de los EAU ha dejado al mundo boquiabierto con su reciente lanzamiento: Falcon 180B, el modelo de lenguaje abierto más grande y poderoso que existe. Este gigante tecnológico cuenta con 180 mil millones de parámetros y ha sido entrenado con 3,5 billones de tokens. ¡Una verdadera hazaña en el mundo de la inteligencia artificial!

Después de asombrar al mundo con Falcon-40B, que en su momento fue uno de los modelos base más potentes jamás entrenados, lo han hecho de nuevo. Falcon 180B se ha posicionado en la cima del Hugging Face Leaderboard para Modelos de Lenguaje Abierto y está disponible tanto para investigación como para uso comercial.

Este modelo destaca por su desempeño excepcional en diversas tareas como razonamiento, codificación, competencia y pruebas de conocimiento, superando incluso a competidores de la talla de LLaMa 2 de Meta. Entre los modelos de código cerrado, Falcon 180B se sitúa justo detrás del GPT 4 de OpenAI y rinde al nivel de PaLM 2 Large de Google, que da vida a Bard, a pesar de ser la mitad de tamaño.

Los que estén interesados en descargar Falcon 180B deben tener en cuenta los Términos y Condiciones y la Política de Uso Aceptable del modelo. Además, para aquellos que buscan comenzar a trabajar con Falcon, se recomienda leer un excelente blogpost de HF o el que se publicó durante el lanzamiento del modelo 40B. Debido a que el modelo 180B es más grande de lo que normalmente se puede manejar con transformadores y aceleradores, se sugiere utilizar la Inferencia de Generación de Texto. Sin embargo, es importante señalar que necesitarás al menos 400GB de memoria para ejecutar inferencias rápidamente con Falcon-180B.

¿Por qué elegir Falcon-180B?

• Es el modelo de acceso abierto más destacado en la actualidad, superando a LLaMa-2, StableLM, RedPajama, MPT y otros.
• Posee una arquitectura optimizada para la inferencia con multiquery.
• Se ofrece bajo una licencia permisiva que permite su uso comercial.

Aunque es un modelo preentrenado y crudo, se recomienda su adaptación para usos específicos. Además, si estás buscando una versión mejor adaptada para instrucciones genéricas en un formato de chat, vale la pena considerar Falcon-180B-Chat. Y para aquellos que busquen modelos más pequeños y económicos, los hermanos menores de Falcon-180B, Falcon-7B y Falcon-40B, son excelentes opciones.

Detalles del modelo Falcon-180B:

• Desarrollado por: Instituto de Innovación Tecnológica de los EAU
• Tipo de modelo: Causal decoder-only
• Idiomas: Inglés, Alemán, Español, Francés y capacidades limitadas en Italiano, Portugués, Polaco, Holandés, Rumano, Checo, Sueco.
• Licencia: Falcon-180B TII License y Política de Uso Aceptable.

Usos recomendados: Investigación en modelos de lenguaje de gran escala, fundación para especialización y ajuste fino para casos de uso específicos como resumen, generación de texto, chatbot, etc.

Usos no recomendados: Uso en producción sin una evaluación adecuada de riesgos y medidas de mitigación; cualquier uso que pueda considerarse irresponsable o perjudicial.

Precauciones: Dado que Falcon-180B ha sido entrenado principalmente en inglés, alemán, español y francés, no generalizará adecuadamente a otros idiomas. Además, al estar entrenado en grandes corpus representativos de la web, llevará consigo los estereotipos y prejuicios comúnmente encontrados en línea.

El equipo detrás de Falcon 180B recomienda a los usuarios considerar su ajuste fino para conjuntos específicos de tareas y tomar las precauciones necesarias para cualquier uso en producción. Sin duda, este lanzamiento marca un antes y un después en el mundo de los modelos de lenguaje abierto y promete ser una herramienta valiosa para la comunidad tecnológica mundial. ¡Estamos ansiosos por ver qué más nos tiene preparado el Instituto de Innovación Tecnológica de los EAU!

Más información en blog de EAU y también podréis probar en un ChatDemo.