Facebook acaba de presentar LLaMA, una colección de modelos lingüísticos fundamentales con un rango que va desde los 7B hasta los 65B de parámetros. Estos modelos se han entrenado con trillones de tokens, lo que demuestra que es posible entrenar modelos de vanguardia únicamente con conjuntos de datos públicos, sin tener que recurrir a conjuntos de datos propietarios y accesibles. En particular, LLaMA-13B supera a GPT-3 (175B) en la mayoría de los criterios, y LLaMA-65B es competitivo con los mejores modelos, Chinchilla70B and PaLM-540B. Facebook ha hecho públicos todos sus modelos para que la comunidad investigadora pueda usarlos.
En este hilo de Twitter hablan mucho más sobre LLaMA:
Today we release LLaMA, 4 foundation models ranging from 7B to 65B parameters.
— Guillaume Lample (@GuillaumeLample) February 24, 2023
LLaMA-13B outperforms OPT and GPT-3 175B on most benchmarks. LLaMA-65B is competitive with Chinchilla 70B and PaLM 540B.
The weights for all models are open and available at https://t.co/q51f2oPZlE
1/n pic.twitter.com/DPyJFBfWEq
Podéis ampliar información y leer el Paper en su web.
