Meta ha lanzado Llama 2, una emocionante versión de su modelo de lenguaje, y ahora puedes acceder a él a través de Hugging Face. Llama 2 es una colección de modelos de texto generativo preentrenados y ajustados que varían en tamaño, desde 7 mil millones hasta 70 mil millones de parámetros. Este repositorio se centra en el modelo de ajuste fino de 70B, optimizado para casos de diálogo y convertido al formato de Transformers de Hugging Face. Los enlaces a otros modelos se pueden encontrar en el índice al final.
Es importante destacar que el uso de este modelo está gobernado por la licencia de Meta. Para descargar los pesos y el tokenizador del modelo, visita el sitio web y acepta nuestra licencia antes de solicitar el acceso aquí.
Meta ha desarrollado y lanzado públicamente la familia de modelos de gran escala Llama 2 (LLMs), que incluye modelos preentrenados y ajustados para generar texto en una amplia variedad de aplicaciones. Los modelos ajustados de Llama-2-Chat, optimizados para casos de diálogo, superan a los modelos de chat de código abierto en la mayoría de las pruebas que hemos realizado y, en nuestras evaluaciones humanas de utilidad y seguridad, están a la par con algunos modelos populares de código cerrado, como ChatGPT y PaLM.
Llama 2 está disponible en diferentes tamaños de parámetros: 7B, 13B y 70B, y en variaciones preentrenadas y ajustadas. Además, utiliza una arquitectura de modelo de lenguaje auto-regresiva basada en transformers optimizados. Los modelos ajustados se han entrenado utilizando ajuste fino supervisado (SFT) y aprendizaje por refuerzo con retroalimentación humana (RLHF) para alinearse con las preferencias humanas en términos de utilidad y seguridad.
El preentrenamiento de Llama 2 se realizó utilizando una combinación de datos disponibles públicamente en línea. Estos modelos han sido entrenados en un extenso conjunto de datos, con una cantidad masiva de tokens y una atención optimizada para mejorar la escalabilidad en la inferencia.
Llama 2 ha sido entrenado entre enero de 2023 y julio de 2023. Cabe mencionar que este es un modelo estático entrenado en un conjunto de datos offline. Futuras versiones de los modelos ajustados se lanzarán a medida que mejoremos la seguridad del modelo con la retroalimentación de la comunidad.
Llama 2 está destinado a su uso en casos comerciales e investigaciones en inglés. Los modelos ajustados están pensados para aplicaciones de chat asistente, mientras que los modelos preentrenados se pueden adaptar para una variedad de tareas de generación de lenguaje natural. Se prohíbe cualquier uso que viole las leyes o regulaciones aplicables, así como el uso en idiomas distintos al inglés y cualquier otro uso prohibido por la Política de Uso Aceptable y el Acuerdo de Licencia para Llama 2.
El preentrenamiento de Llama 2 ha requerido un considerable esfuerzo computacional, con millones de horas de GPU y emisiones de carbono asociadas. Sin embargo, Meta ha compensado el 100% de las emisiones de carbono a través de su programa de sostenibilidad.
Para obtener más información sobre Llama 2 y acceder a los recursos del modelo, visita el sitio web oficial de Meta:
👉 https://ai.meta.com/resources/models-and-libraries/llama-downloads
