WizardCoder-34B es un modelo de lenguaje especializado en código (LLM, large language model) que el equipo WizardLM publicó en agosto de 2023, basado en Code Llama 34B de Meta. Los resultados que presentó en el benchmark HumanEval generaron debate en la comunidad: un 73,2% en la métrica pass@1, por encima del 67,0% de GPT-4 y del 48,1% de GPT-3.5, según los datos que OpenAI había publicado en marzo de 2023.
HumanEval: qué mide y qué dice el resultado
HumanEval es un benchmark de programación creado por OpenAI que evalúa la capacidad de los modelos para resolver 164 problemas de Python a partir de un enunciado en lenguaje natural. La métrica pass@1 mide el porcentaje de problemas resueltos correctamente en el primer intento. Un 73,2% en pass@1 significa que WizardCoder-34B resolvió correctamente 120 de los 164 problemas sin reintento.
La comparativa frente a GPT-4 tiene matices importantes: los números de OpenAI correspondían a marzo de 2023, y GPT-4 ha recibido actualizaciones posteriores que mejoran esos resultados. La comparación directa en el mismo momento y entorno sería necesaria para validar la ventaja, algo que el equipo WizardLM reconoce en su documentación.
Evol-Instruct adaptado para código
El rendimiento de WizardCoder se basa en una técnica llamada Evol-Instruct, originalmente desarrollada por el mismo equipo para WizardLM. La idea es que el modelo genera versiones cada vez más complejas de las instrucciones de entrenamiento, creando un conjunto de datos progresivamente más exigente sin necesidad de anotación humana para cada nivel. En WizardCoder-34B esa técnica se aplicó específicamente a tareas de codificación, lo que se traduce en mejor manejo de problemas de mayor dificultad.
Si te interesa cómo los modelos open source se comparan con asistentes comerciales en el trabajo diario, Samantha-1.11 sigue un enfoque diferente: CodeLlama-34b afinado para diálogo y filosofía, orientado más a la conversación que a resolver benchmarks de código.
Versiones disponibles y WizardMath
El equipo también publicó WizardMath-70B-V1.0, un modelo centrado en razonamiento matemático que obtuvo resultados notables en los benchmarks GSM8K y MATH. Para WizardCoder se anunciaron versiones 13B y 7B con un rendimiento inferior pero menores requisitos de hardware. El modelo es compatible con Python 3.9 o superior y está disponible para descarga y uso local.
Para los desarrolladores que trabajan con herramientas de IA en su entorno, la existencia de modelos open source con resultados comparables a los comerciales en benchmarks estandarizados abre opciones de despliegue en entornos privados sin depender de APIs externas.
Acceso al modelo
Preguntas frecuentes
¿Qué es HumanEval y cómo se interpreta el pass@1?
HumanEval es un benchmark de 164 problemas de programación en Python diseñado por OpenAI. Pass@1 mide el porcentaje de problemas resueltos correctamente en el primer intento generado por el modelo, sin reintentos.
¿Es fiable la comparativa de WizardCoder-34B frente a GPT-4 en HumanEval?
Con matices. Los datos de GPT-4 usados como referencia correspondían a marzo de 2023. Las versiones posteriores de GPT-4 tienen resultados diferentes. La comparativa es válida como punto de referencia histórico, pero no como afirmación absoluta de superioridad.
¿Qué es Evol-Instruct?
Es una técnica de generación de datos de entrenamiento en la que el propio modelo crea versiones cada vez más complejas de instrucciones. Permite construir conjuntos de datos de alta dificultad sin anotación manual intensiva.
¿Qué licencia tiene WizardCoder-34B?
Al estar basado en Code Llama, está sujeto a la licencia Llama 2 de Meta, que permite uso comercial con restricciones para organizaciones de gran escala.
