Meta continúa su compromiso con la accesibilidad abierta en inteligencia artificial con el lanzamiento de su nuevo modelo, Llama 3.1. Este modelo amplía la longitud de contexto a 128K, añade soporte en ocho idiomas y presenta Llama 3.1 405B, el primer modelo de IA de código abierto a nivel de frontera.
Innovaciones de Llama 3.1
Llama 3.1 405B destaca por su flexibilidad y capacidades avanzadas que compiten con los mejores modelos cerrados. Este nuevo modelo permitirá a la comunidad desbloquear nuevos flujos de trabajo, como la generación de datos sintéticos y la destilación de modelos. Meta también está desarrollando componentes adicionales para trabajar con el modelo, incluyendo un sistema de referencia y nuevas herramientas de seguridad como Llama Guard 3 y Prompt Guard.
Ecosistema y Colaboraciones
Meta ha preparado un ecosistema robusto con más de 25 socios, entre ellos AWS, NVIDIA, Databricks, Dell y Google Cloud, que ofrecerán servicios desde el primer día. Los desarrolladores pueden probar Llama 3.1 405B en WhatsApp y en meta.ai, realizando preguntas desafiantes de matemáticas o codificación.
Evaluaciones del Modelo
Llama 3.1 405B ha sido evaluado en más de 150 conjuntos de datos de referencia y ha mostrado un rendimiento competitivo frente a modelos líderes como GPT-4, GPT-4o y Claude 3.5 Sonnet. Este modelo, entrenado con más de 15 billones de tokens, supera a sus predecesores en capacidades de conocimiento general, uso de herramientas, matemáticas y traducción multilingüe.
Arquitectura y Entrenamiento
Para entrenar Llama 3.1 405B, Meta ha optimizado su pila de entrenamiento y ha utilizado más de 16 mil GPUs H100. El modelo utiliza una arquitectura estándar de transformador de sólo decodificación con adaptaciones menores, lo que maximiza la estabilidad del entrenamiento. Además, se ha adoptado un procedimiento iterativo de post-entrenamiento que incluye afinación supervisada y optimización directa de preferencias.
Sistema Llama y Herramientas de Seguridad
El sistema Llama incluye varios componentes, como Llama Guard 3 y Prompt Guard, para garantizar el uso seguro y responsable de los modelos. Meta también ha lanzado una solicitud de comentarios en GitHub para «Llama Stack», un conjunto de interfaces estandarizadas para la creación de componentes de la cadena de herramientas y aplicaciones agenticas.
Innovación Abierta
A diferencia de los modelos cerrados, los pesos del modelo Llama están disponibles para descarga, permitiendo a los desarrolladores personalizar los modelos para sus necesidades y aplicaciones, y ejecutarlos en cualquier entorno sin compartir datos con Meta. Esto asegura que más personas tengan acceso a los beneficios de la IA de manera equitativa y segura.
Aplicaciones y Futuro
Llama 3.1 permite a los desarrolladores realizar inferencia en tiempo real y por lotes, afinación supervisada, evaluación de modelos y generación de datos sintéticos. En el futuro, Meta planea explorar tamaños de modelos más amigables con los dispositivos, modalidades adicionales y mayor inversión en la capa de plataformas agenticas.
El lanzamiento de Llama 3.1 405B marca un hito en la IA de código abierto, ofreciendo a la comunidad de desarrolladores herramientas poderosas para construir nuevas experiencias y productos innovadores.
Fuente: Meta
