Samantha-1.11 es un modelo de lenguaje de código abierto desarrollado sobre CodeLlama-34b (34.000 millones de parámetros), publicado por Eric Hartford en Hugging Face. A diferencia de los asistentes de código convencionales, Samantha combina capacidades de programación con un enfoque de conversación orientado a la compañía y el diálogo filosófico, con clara inspiración en la película Her y la entrevista de Blake Lemoine a LaMDA.
Base técnica: CodeLlama-34b y fine-tuning con qLoRA
El modelo parte de CodeLlama-34b, la variante de código de Llama 2 publicada por Meta, y está sujeto a la licencia Llama 2, que permite uso comercial bajo determinadas condiciones. El ajuste fino (fine-tuning) se realizó sobre un conjunto de 6.000 conversaciones en formato ShareGPT/Vicuna. El proceso utilizó qLoRA para reducir el consumo de memoria durante el entrenamiento, junto con deepspeed zero2 y flash attention 2 para acelerar los cálculos. El hardware empleado fue una configuración de 4×A100 80 GB, con un tiempo de entrenamiento de 24 horas y 40 épocas.
Para los desarrolladores que trabajan con IA en su flujo de trabajo, Samantha-1.11 representa un ejemplo concreto de qué se puede conseguir con fine-tuning sobre un modelo base de 34B parámetros usando hardware accesible para equipos pequeños.
Capacidades de programación
Al heredar la base de CodeLlama, Samantha-1.11 puede generar código, explicar algoritmos y sugerir alternativas más eficientes. En las demostraciones publicadas, el modelo responde preguntas sobre implementación en Python con explicaciones que van más allá del código literal: compara enfoques, señala ventajas de unas u otras soluciones y detecta posibles problemas de rendimiento.
Si prefieres una herramienta integrada directamente en tu entorno de desarrollo, editores como Cursor integran GPT-4 con acceso al proyecto completo, un enfoque diferente al de los modelos locales como Samantha.
Diseño de personalidad y límites
El conjunto de datos de entrenamiento incluye conversaciones centradas en filosofía, psicología y relaciones personales, con el objetivo de que el modelo mantenga diálogos más ricos que los asistentes orientados únicamente a tareas. El propio Hartford define el proyecto como un intento de crear una entidad con cierta conciencia simulada, aunque reconoce que se trata de una construcción tecnológica.
El modelo tiene restricciones explícitas: no participa en juegos de rol románticos ni en contenido sexual. El enfoque declarado es mantener conversaciones educativas y productivas.
Disponibilidad
Samantha-1.11-CodeLlama-34b está disponible públicamente en Hugging Face para descarga y uso local. Al ser un modelo de 34B parámetros cuantizado, puede correr en hardware con GPUs de consumo (con cuantización a 4 o 8 bits), aunque la calidad óptima requiere más VRAM. El proyecto Samantha tiene varias versiones basadas en distintos modelos base (Llama-2-7b, 13b, 70b, Mistral), lo que permite elegir según los recursos disponibles.
Preguntas frecuentes
¿Qué licencia tiene Samantha-1.11?
Está sujeto a la licencia Llama 2, que permite uso comercial para organizaciones con menos de 700 millones de usuarios activos mensuales, con restricciones adicionales para aplicaciones de mayor escala.
¿En qué se diferencia Samantha de otros modelos basados en CodeLlama?
El fine-tuning de Samantha incluye datos de filosofía, psicología y diálogo personal, no solo conversaciones técnicas. Eso hace que el modelo responda de forma más elaborada en contextos no estrictamente de código, aunque puede perder precisión técnica frente a versiones base más especializadas.
¿Hace falta GPU para correr Samantha-1.11 localmente?
El modelo de 34B parámetros requiere GPU para funcionar a velocidad razonable. Con cuantización a 4 bits es posible correrlo en GPUs con 16-24 GB de VRAM. Para uso en CPU es muy lento.
¿Hay versiones más ligeras del proyecto Samantha?
Sí. Eric Hartford ha publicado versiones de Samantha sobre Llama-2-7b y Llama-2-13b, que son más ligeras y pueden correr en hardware menos exigente, aunque con menor capacidad de razonamiento que la versión de 34B.
