Meta ha lanzado su nuevo modelo de lenguaje, Llama 3.3 70B, que ya está disponible en Amazon SageMaker JumpStart. Este modelo de lenguaje grande (LLM) se diseñó para ofrecer un rendimiento comparable a modelos más grandes, como Llama 3.1 405B, pero utilizando significativamente menos recursos computacionales. Este avance no solo mejora la calidad de los resultados, sino que también reduce los costos, convirtiéndolo en una opción rentable para aplicaciones en producción.
Llama 3.3 70B ha sido optimizado para maximizar la eficiencia, permitiendo realizar casi cinco veces más operaciones de inferencia por el mismo costo. Este diseño se basa en una versión mejorada del marco de transformadores, que integra un mecanismo de atención innovador, reduciendo considerablemente los costos asociados a la inferencia. El proceso de entrenamiento incluyó 15 billones de tokens, combinando una amplia gama de datos web y más de 25 millones de ejemplos sintéticos creados específicamente para el desarrollo de modelos de lenguaje. Esta metodología ha fortalecido las habilidades del modelo en la comprensión y generación de texto, adaptándose con eficacia a diversas tareas.
Entre las innovaciones de Llama 3.3 70B destaca su proceso de entrenamiento refinado, que incorpora un ajuste supervisado y el aprendizaje por refuerzo basado en comentarios humanos (RLHF). Este enfoque permite que el modelo genere respuestas más alineadas con las preferencias humanas, manteniendo estándares de alto rendimiento. En pruebas de referencia, Llama 3.3 70B logró una consistencia impactante, quedando a menos de un 2% de diferencia respecto a su versión más grande en seis de diez evaluaciones estándar de inteligencia artificial, y superándola en tres categorías.
Para facilitar la implementación de este modelo, SageMaker JumpStart ofrece herramientas que ayudan en la evaluación, comparación y selección de modelos preentrenados, incluyendo los de Llama. Las organizaciones pueden desplegar Llama 3.3 70B fácilmente a través de una interfaz de usuario amigable o de forma programática mediante el SDK de Python de SageMaker, brindando flexibilidad y escalabilidad según las necesidades específicas.
Las amplias capacidades de SageMaker AI, como la carga rápida de modelos, el almacenamiento en caché de contenedores y la opción de escalar a cero, permiten a las organizaciones gestionar eficientemente sus despliegues, maximizando así los beneficios del modelo Llama 3.3 70B sin incurrir en gastos innecesarios. Esta integración de características avanzadas y herramientas de implementación proporciona una solución ideal para las organizaciones que buscan maximizar el rendimiento y la eficiencia de costos en sus operaciones de modelado de lenguaje.
