PrismML ha presentado Ternary Bonsai 2 27B, una versión comprimida del modelo de inteligencia artificial Qwen3.8 27B que ocupa alrededor de 5,9 GB y conserva, según las pruebas publicadas por su desarrollador, el 98,2 % del rendimiento agregado del modelo de referencia. La propuesta busca acercar modelos de gran tamaño a ordenadores personales y equipos locales con menos memoria, aunque las cifras de los benchmarks no garantizan que mantenga la misma calidad en todas las tareas.
Las claves de Bonsai 2 y los modelos de IA comprimidos en 20 segundos
- Bonsai 2 parte de Qwen3.8 27B y reduce el tamaño anunciado de sus pesos a unos 5,9 GB.
- PrismML declara un 98,2 % de retención del rendimiento agregado frente a la versión de referencia.
- La técnica ternaria representa los pesos con tres valores: −1, 0 y +1, junto con factores de escala compartidos.
- El modelo admite texto e imágenes, anuncia una ventana de contexto de 262.000 tokens y utiliza licencia Apache 2.0.
- Para ejecutarlo hay que comprobar el formato, el backend y los requisitos de memoria, además de evaluar su rendimiento real.
La compresión de modelos de lenguaje se ha convertido en una vía para ejecutar inteligencia artificial sin depender continuamente de servicios en la nube. Reducir el tamaño de los archivos puede permitir que equipos con recursos más limitados trabajen con modelos que, en su representación original, necesitan mucha más memoria. El reto consiste en conseguirlo sin perder demasiada precisión al responder preguntas, seguir instrucciones o resolver problemas complejos.
Bonsai 2 llama la atención por la diferencia entre su tamaño anunciado y el de una representación convencional en precisión FP16. Sin embargo, los 5,9 GB corresponden al almacenamiento de los pesos del modelo, no a toda la memoria que necesita durante la ejecución. También hay que tener en cuenta el procesamiento de las entradas, la caché de atención, los componentes adicionales y el software utilizado para ejecutarlo.
Cómo consigue Bonsai 2 reducir el tamaño de Qwen3.8
Ternary Bonsai 2 27B pertenece a la familia de modelos comprimidos de PrismML. En lugar de reducir el modelo a una categoría de parámetros inferior, mantiene una arquitectura de la clase de 27.000 millones de parámetros y cambia la forma en que representa sus pesos, los valores numéricos que determinan buena parte del comportamiento aprendido durante el entrenamiento.
La técnica utiliza cuantización ternaria. En términos sencillos, los pesos se representan mediante tres valores posibles: −1, 0 y +1. La propuesta incorpora factores de escala compartidos para recuperar parte de la información que se perdería si todos los pesos se redujeran directamente a esos tres valores sin ningún ajuste adicional.
Según el anuncio de PrismML, el almacenamiento efectivo se sitúa en 1,76 bits por peso. Es una representación mucho más compacta que FP16, que utiliza 16 bits por valor. La comparación publicada por el desarrollador sitúa el tamaño de referencia de los pesos en torno a los 54 GB, frente a los aproximadamente 5,9 GB anunciados para Bonsai 2.
La reducción se acerca a un factor de nueve respecto a esa representación FP16. No significa, sin embargo, que Bonsai tenga nueve veces menos parámetros ni que consuma siempre nueve veces menos memoria que cualquier otra versión de Qwen. La diferencia depende de la representación utilizada como referencia y de los componentes necesarios para ejecutar cada modelo.
La compresión también tiene límites. Reducir la precisión numérica puede afectar de manera desigual a las capacidades de un modelo. Algunas tareas toleran mejor la pérdida de precisión que otras, y un resultado agregado puede ocultar diferencias importantes en categorías concretas. Por eso, la evaluación debe incluir pruebas relacionadas con el uso previsto, no solo una cifra global.
PrismML también anuncia entrada de texto e imágenes, una ventana de contexto de 262.000 tokens y una licencia Apache 2.0. Estas características amplían los posibles usos del modelo, pero la capacidad efectiva para procesar entradas extensas o imágenes depende de la configuración de ejecución, la memoria disponible y el soporte del software empleado.
Los benchmarks respaldan la propuesta, pero no demuestran que sea equivalente
Las cifras publicadas por PrismML ofrecen una primera referencia para valorar el modelo. En la evaluación agregada que acompaña al lanzamiento, Bonsai 2 obtiene una puntuación de 83,9, frente a 85,4 para Qwen3.8 27B en su versión de precisión completa. De esa relación procede el 98,2 % de rendimiento retenido que destaca la compañía.
La cifra debe interpretarse con cuidado. Es una comparación entre puntuaciones agregadas de una batería de pruebas, no una medida universal de la inteligencia conservada ni una garantía de que ambas versiones respondan igual en cualquier situación.
En matemáticas, el anuncio recoge puntuaciones de 96,57 para Bonsai 2 y 97,06 para el modelo de referencia. En programación, las cifras son 81,58 y 82,17, respectivamente. En seguimiento de instrucciones, Bonsai 2 obtiene 82,66, frente a 81,25 de la versión de referencia. En otras categorías, incluidas visión y tareas de conocimiento y razonamiento, las diferencias son mayores.
Que la versión comprimida supere al modelo original en una categoría no demuestra que la compresión mejore por sí misma esa capacidad. El resultado describe el comportamiento observado en una evaluación concreta y puede variar según los datos, las instrucciones, la configuración y el método de medición.
PrismML también compara Bonsai 2 con la generación anterior de Ternary Bonsai 27B. La compañía señala que el modelo previo retenía alrededor del 95 % del rendimiento agregado, mientras que la nueva versión supera el 98 %. No es una comparación que permita atribuir toda la mejora al método de compresión, ya que también cambia el modelo de base.
Las primeras reacciones recogidas en la comunidad de modelos abiertos muestran interés por la posibilidad de ejecutar un modelo de esta clase con menos recursos. También hay dudas sobre hasta qué punto las cifras publicadas reflejan el rendimiento en tareas exigentes de ingeniería de software o en flujos de trabajo con múltiples llamadas a herramientas. Estas objeciones no demuestran que el modelo sea ineficaz, pero sí apuntan a una limitación habitual de las evaluaciones generales: una puntuación elevada no sustituye a las pruebas con aplicaciones reales.
Qué hardware necesita y qué debe comprobarse antes de migrar
PrismML declara velocidades de hasta 143 tokens por segundo en una NVIDIA RTX 5090 y 46,8 tokens por segundo en un equipo con Apple M5 Max. Son mediciones publicadas por el propio desarrollador y no resultados independientes reproducidos en todos los entornos. El rendimiento puede cambiar según la versión del modelo, el backend, el tamaño de la entrada y los parámetros de generación.
El tamaño de descarga tampoco determina por sí solo cuál será la configuración más rápida. La ficha del modelo en Hugging Face recoge diferentes empaquetados, con tamaños aproximados de 5,95 GB y 7,21 GB, y señala que el componente de visión se proporciona por separado. Por tanto, la variante más pequeña no tiene por qué ser la más rápida ni la que mejor se adapte a un equipo concreto.
Hay otra condición importante para quienes ya ejecutan modelos localmente. El repositorio de PrismML indica que los archivos GGUF de Bonsai 2 necesitan una versión modificada de llama.cpp. Esto significa que no debe darse por hecho que el modelo funcionará con cualquier instalación existente o que bastará con descargar el archivo y cargarlo en la aplicación habitual.
La comparación también debe hacerse con alternativas equivalentes. La reducción de aproximadamente nueve veces se calcula frente a FP16, no frente a cualquier modelo de Qwen que ya esté cuantizado. Para quien ejecuta una versión compacta de Qwen en su ordenador, la diferencia real de memoria, velocidad y calidad podría ser bastante menor.
Una alternativa para asistentes y agentes locales
El interés de Bonsai 2 no está limitado a ejecutar un chatbot. Los modelos locales también se utilizan para resumir documentos, clasificar información, generar informes o alimentar asistentes que llaman a herramientas externas. En estos casos, la calidad depende de más factores que la respuesta a una pregunta aislada: el modelo debe seguir instrucciones, conservar datos importantes, distinguir hechos de estimaciones y evitar errores a lo largo de varias operaciones.
El artículo original utiliza como ejemplo un flujo diario de recopilación y redacción de noticias sobre inteligencia artificial. En ese trabajo, el modelo debe entender las fuentes, atribuir correctamente las afirmaciones y redactar un resumen sin perder matices. Una salida fluida puede parecer convincente y, aun así, omitir una limitación relevante o presentar una estimación como un hecho confirmado.
La prueba más útil para decidir si Bonsai 2 puede sustituir a otro modelo consiste en comparar ambos con el mismo material de entrada y las mismas instrucciones. Conviene evaluar documentos completos, verificar las cifras, comprobar los enlaces y revisar si las conclusiones se mantienen fieles a las fuentes. También interesa medir el tiempo de ejecución y la memoria real consumida.
Si conserva la calidad necesaria con menos recursos, puede liberar capacidad para otras tareas, como una segunda revisión de datos o una comprobación de fuentes. Si pierde fiabilidad en determinados trabajos, todavía podría ser útil para tareas más acotadas. No es necesario que un modelo gane en todas las categorías para encontrarle un uso práctico.
Bonsai 2 presenta una vía interesante para reducir el coste de ejecutar modelos de gran tamaño en local. Los datos de lanzamiento justifican probarlo, pero la decisión de adoptarlo debe apoyarse en resultados reproducibles y en una comparación con la configuración que ya utiliza cada usuario.
Preguntas frecuentes
¿Qué es Bonsai 2 27B?
Es un modelo comprimido de PrismML basado en Qwen3.8 27B. Su objetivo es mantener gran parte del rendimiento de la versión de referencia con una representación de los pesos mucho más pequeña.
¿Cuánto ocupa Bonsai 2?
PrismML anuncia una versión de unos 5,9 GB. La ficha del modelo también recoge otro empaquetado de aproximadamente 7,21 GB y señala que el componente de visión se distribuye por separado.
¿Bonsai 2 rinde igual que Qwen3.8 27B?
No hay una equivalencia garantizada para todas las tareas. PrismML declara un 98,2 % de retención del rendimiento agregado en sus pruebas, pero las diferencias cambian según la categoría y el uso concreto.
¿Se puede ejecutar Bonsai 2 con cualquier programa de modelos locales?
No debe darse por hecho. El repositorio del proyecto indica que los archivos GGUF necesitan una versión modificada de llama.cpp, por lo que hay que comprobar la compatibilidad del entorno antes de instalarlo.
