La compañía tecnológica Meta, anteriormente conocida como Facebook, ha lanzado silenciosamente una nueva arma en el ámbito de la inteligencia artificial: Llama 2 Long. Este modelo viene después de que hace poco se presentara Llama 2, que prometía revolucionar la interacción en sus plataformas más populares: Facebook, Instagram y WhatsApp. Con Llama 2, la inteligencia artificial se posiciona para ser más accesible y cotidiana para los usuarios, incluso llevando esta tecnología a conversaciones cotidianas con chatbots.
A pesar de la expectación que Llama 2 ha creado, el verdadero golpe en la mesa por parte de Meta podría ser Llama 2 Long. Este modelo fue introducido en un artículo técnico publicado en el repositorio de investigación arXiv.org. El documento detalla las capacidades y características de Llama 2 Long, una versión avanzada de Llama 2.
Características de Llama 2 Long
Lo que hace especial a Llama 2 Long es su capacidad para manejar y generar respuestas a peticiones de usuario de mayor longitud. Según el estudio presentado por el equipo de Meta, este modelo ha demostrado superar a competidores de renombre, incluido el famoso GPT-3.5 Turbo de OpenAI.
Para lograr esto, los especialistas de Meta hicieron uso de técnicas avanzadas. Tomaron el modelo Llama 2 y le añadieron un volumen significativo de datos, en concreto, 400.000 millones de tokens adicionales. La arquitectura se mantuvo, pero se implementó una codificación posicional específica llamada RoPE (Rotary Positional Embedding), que mejora la forma en que el modelo procesa y relaciona la información.
Distinciones entre Llama 2 y Llama 2 Long
Mientras que ambos modelos comparten una base, Llama 2 Long se diferencia por cómo maneja la información. La implementación de la codificación RoPE permite al modelo mapear la información de manera tridimensional, facilitando respuestas más precisas y eficientes. Además, los investigadores hicieron ajustes específicos para asegurar que la información menos común o rara estuviera incluida en el modelo.
Meta introduces LLAMA 2 Long
— AK (@_akhaliq) September 29, 2023
– context windows of up to 32,768 tokens
– the 70B variant can already surpass gpt-3.5-turbo-16k’s overall performance on a suite of long-context tasks https://t.co/uzsVslLUkX pic.twitter.com/aXyPmeLXMo
En términos de entrenamiento, el equipo de Meta empleó aprendizaje por refuerzo con retroalimentación humana, una técnica que premia a la IA por respuestas correctas y utiliza supervisión humana para validarlas. Con ello, Llama 2 Long mejoró su rendimiento en tareas comunes, desde codificación hasta razonamiento y comprensión del lenguaje.
Recepción en la Comunidad
La comunidad de IA ha reaccionado con entusiasmo ante el lanzamiento de Llama 2 Long. En plataformas como Reddit, Meneame, Revista Cloud, Twitter y Hacker News, los expertos han elogiado el enfoque de código abierto de Meta, viendo en Llama 2 Long una prueba de que los modelos de código abierto pueden competir con alternativas de código cerrado. Es evidente que Meta está determinada a posicionarse en la vanguardia de la inteligencia artificial, y con Llama 2 Long, parece estar un paso más cerca de lograrlo.
