SnowflakeDB ha evaluado recientemente el desempeño de los modelos de Code Llama lanzados por Meta, encontrando resultados prometedores. Estos modelos, especialmente diseñados para la generación de código, superan en desempeño a los anteriores modelos Llama2 en tareas de texto a SQL. Snowflake ve un futuro brillante para estos modelos en la interacción con bases de datos SQL.
Un punto de inflexión en modelos de lenguaje
La familia de modelos Llama2 ha sido una de las contribuciones más significativas en la era de los modelos de lenguaje a gran escala (LLMs). Con más de 1,4 millones de descargas y 2,400 modelos relacionados en Hugging Face, ha sido un punto de partida para numerosas investigaciones y aplicaciones comerciales.
El 24 de agosto, Meta lanzó Code Llama, una serie de modelos derivados de Llama2 especialmente ajustados para la generación de código. Estos modelos han mostrado un rendimiento notablemente alto en lenguajes de programación como Python, Java y JavaScript, según pruebas realizadas por Meta.
Desempeño en tareas de generación de SQL
SnowflakeDB llevó a cabo pruebas adicionales, especialmente centradas en SQL, el lenguaje de programación estándar de bases de datos relacionales. Los modelos Code Llama superaron a los modelos Llama2 en puntos de precisión por márgenes de entre 11 y 30 por ciento, y se acercaron significativamente al rendimiento de GPT-4.
Un modelo de Code Llama afinado (7b, 34b) logró superar al modelo base Code Llama (7b, 34b) en tareas de texto a SQL en 16 y 9 puntos de precisión respectivamente.
Afinación de modelos y comparaciones
La afinación de los modelos en tareas específicas de SQL redujo las diferencias de rendimiento entre las dos clases de modelos a menos de un punto porcentual. Ambos modelos, Llama2 y Code Llama, alcanzaron cerca del 80% de precisión en ejecución, rivalizando con el rendimiento de GPT-4.
El futuro de SQL y LLMs según Snowflake
Snowflake, comprometido con el lenguaje SQL y su papel en el acceso a datos estructurados, ve un potencial significativo en estos modelos. Planean seguir este enfoque, afinando los modelos con cantidades cada vez mayores de datos de entrenamiento.
Snowflake también está construyendo una plataforma para que las organizaciones puedan afinar y desplegar modelos de código abierto de manera segura utilizando su propia data, a través de servicios como Snowpark Container Services y Snowpark ML model registry, ambos actualmente en vista previa privada.
En resumen
La liberación de modelos de alta calidad como Code Llama por parte de Meta representa un hito importante para la industria y la investigación. Snowflake, al aprovechar estos avances, está a la vanguardia de ofrecer capacidades de texto a SQL de última generación, lo que representa un avance significativo en la interacción con bases de datos y el tratamiento de datos estructurados.
Más información y ejemplos de código SQL en SnowFlake.
