⏱️ Lectura: 12 min
PrismML metió un modelo de 27.000 millones de parámetros en 3.9 GB, lo bastante liviano para correr dentro de un iPhone 17 Pro sin depender de la nube.
📑 En este artículo
La empresa presentó hoy Bonsai 27B, basado en Qwen3.6 27B: la primera versión de esta clase de tamaño capaz de sostener razonamiento multipaso, llamadas a herramientas y tareas de visión directamente en el dispositivo, sin escala de precisión de respaldo.
TL;DR
- PrismML lanzó Bonsai 27B el 14 de julio de 2026, basado en Qwen3.6 27B: primer modelo de su clase que corre en un celular.
- Ternary Bonsai 27B usa pesos {-1,0,+1}, 1.71 bits efectivos por peso, y pesa apenas 5.9 GB.
- 1-bit Bonsai 27B usa pesos binarios {-1,+1}, 1.125 bits por peso, pesa 3.9 GB y cabe en un iPhone 17 Pro.
- Ternary retiene el 95% del rendimiento del modelo base en 15 benchmarks; 1-bit retiene el 90%.
- Ambas variantes son multimodales (visión en 4 bits) y soportan 262.000 tokens de contexto.
- En una RTX 5090, 1-bit llega a 163 tok/s y Ternary a 134 tok/s.
- En un Mac con chip M5 Max, 1-bit alcanza 87 tok/s y Ternary 58 tok/s.
- Se publica bajo licencia Apache 2.0 y ya está disponible para descargar.
Qué pasó
PrismML presentó Bonsai 27B, el nuevo modelo insignia multimodal de su familia Bonsai y, según la compañía, el primer modelo de esta clase de tamaño (27.000 millones de parámetros) capaz de correr en un teléfono. El modelo está basado en Qwen3.6 27B y llega en dos variantes que comparten arquitectura pero difieren en cuánto comprimen sus pesos.
- Ternary Bonsai 27B: pesos ternarios {-1, 0, +1} con escalado por grupos en FP16, lo que da 1.71 bits efectivos por peso. Ocupa 5.9 GB y corre en una laptop común, con la capacidad completa de razonamiento, llamadas a herramientas y flujos agénticos.
- 1-bit Bonsai 27B: pesos binarios {-1, +1} con el mismo esquema de escalado, lo que da 1.125 bits efectivos por peso. Ocupa apenas 3.9 GB, un tamaño que entra en el presupuesto de memoria de un iPhone 17 Pro: la primera vez que un modelo de esta clase corre en un celular.
Ambas variantes son multimodales: la torre de visión se distribuye en un formato compacto de 4 bits, así que el modelo puede leer capturas de pantalla, documentos y video de cámara además de texto. Bonsai 27B soporta una ventana de contexto de 262.000 tokens y decodificación especulativa, que acelera la generación sin perder precisión. Todo el paquete se publica hoy bajo licencia Apache 2.0.
Contexto e historia
PrismML no llega a esto de cero. Sus lanzamientos anteriores ya habían demostrado que un modelo con pesos de 1 bit o ternarios puede ser comercialmente útil, no solo un experimento de laboratorio. La métrica de densidad de inteligencia (rendimiento por gigabyte) que la compañía usó por primera vez con 1-bit Bonsai 8B vuelve a aparecer acá, ahora a escala de 27.000 millones de parámetros.
El problema que resuelve Bonsai 27B es concreto y de peso, literalmente. Un modelo de 27B en precisión de 16 bits ocupa cerca de 54 GB. Incluso una build de 4 bits, la compresión más habitual en la industria, pesa unos 18 GB: demasiado para un teléfono y para la mayoría de las laptops. Con Bonsai 27B esa barrera de memoria deja de ser un impedimento para desplegar localmente un modelo de esta capacidad.
La novedad no es solo el tamaño. PrismML extiende la frontera de compresión extrema a una nueva categoría de capacidad: razonamiento en varios pasos, llamadas a herramientas estructuradas, tareas de visión y bucles de uso de computadora (computer-use) que se mantienen coherentes a lo largo de muchos pasos. Hasta ahora, desplegar ese nivel de capacidad de forma local era poco práctico por el tamaño del modelo.
Detalles técnicos y rendimiento
La compresión de Bonsai 27B corre de punta a punta: red de lenguaje, embeddings, atención, capas MLP y la cabeza final (LM head) quedan en baja precisión, sin ninguna parte del modelo escondida en una precisión más alta como salida de emergencia. Esa es la diferencia frente a builds convencionales de 4 bits, que suelen dejar ciertas capas sensibles en precisión más alta para no perder calidad.
Los pesos se escalan por grupos con factores en FP16: eso permite que valores discretos tan extremos como {-1, 0, +1} o {-1, +1} conserven suficiente información como para que el modelo razone con matemática, código y llamadas a herramientas casi al nivel del modelo original, según los 15 benchmarks publicados por PrismML.
| Categoría | Qwen 3.6 27B | Ternary Bonsai 27B | 1-bit Bonsai 27B |
|---|---|---|---|
| Matemática (GSM8K, MATH-500, AIME25, AIME26) | 95.3 | 93.4 | 91.7 |
| Código (HumanEval+, MBPP+, LiveCodeBench) | 88.7 | 86.0 | 81.9 |
| Agéntico y tool-calling (BFCL v3, TauBench) | 80.0 | 74.0 | 66.0 |
| Seguimiento de instrucciones (IFEval, IFBench) | 78.4 | 71.8 | 65.8 |
| Conocimiento / STEM (MMLU-Redux, MuSR) | 83.1 | 77.0 | 73.4 |
| Visión (MMMU Pro, OCRBench) | 72.6 | 65.2 | 59.6 |
| Promedio (15 benchmarks) | 85.0 | 80.5 | 76.1 |
Leída por categoría, la tabla cuenta una historia más clara que el promedio: matemática y código casi no pierden terreno, y las llamadas a herramientas (justo la capacidad de la que dependen los flujos agénticos) se mantienen a pocos puntos de la precisión completa en la variante Ternary. La caída es más marcada en la variante 1-bit, sobre todo en tareas agénticas (66.0 contra 80.0 del modelo base) y en visión (59.6 contra 72.6).
Por densidad de inteligencia (rendimiento por gigabyte), 1-bit Bonsai 27B entrega 0.53 puntos por GB: más de 10 veces la densidad del modelo en precisión completa, y unas 2.7 veces la de la mejor alternativa convencional de baja precisión disponible.
En rendimiento bruto, Bonsai 27B llega hasta 163 tokens por segundo en la variante 1-bit y 134 tok/s en Ternary sobre una NVIDIA GeForce RTX 5090. En una Mac con chip M5 Max, la variante 1-bit alcanza 87 tok/s y Ternary 58 tok/s.
Cómo empezar
Bonsai 27B, ambas variantes, se publica bajo licencia Apache 2.0 y está disponible desde hoy para descargar. Al ser pesos de 1 bit y ternarios, no basta con cargar el modelo en cualquier motor de inferencia: hace falta un runtime que sepa operar con esos formatos discretos y sus factores de escala en FP16.
💡 Tip: usá siempre la build oficial que publique PrismML o un fork de llama.cpp actualizado para soportar ternary/1-bit; un runtime que no entienda el esquema de escalado por grupos va a descomprimir los pesos a una precisión mayor y perder el ahorro de memoria.
# Linux / macOS (bash)
curl -L -o bonsai-27b-ternary.gguf https://prismml.com/models/bonsai-27b-ternary
./llama-cli -m bonsai-27b-ternary.gguf -p "Explica que es la cuantizacion ternaria" -n 200
# Windows (PowerShell)
Invoke-WebRequest -Uri "https://prismml.com/models/bonsai-27b-ternary" -OutFile "bonsai-27b-ternary.gguf"
.\llama-cli.exe -m bonsai-27b-ternary.gguf -p "Explica que es la cuantizacion ternaria" -n 200Este comando descarga los pesos y lanza una consulta de prueba. El runtime tiene que soportar el esquema de escalado por grupos en FP16 que usa Bonsai, así que conviene partir de una build compatible en vez de un motor genérico de 4 bits.
import openai
client = openai.OpenAI(base_url="http://localhost:8080/v1", api_key="local")
response = client.chat.completions.create(
model="bonsai-27b-1bit",
messages=[{"role": "user", "content": "Revisa las capturas en /screenshots y resume los errores"}],
tools=[{
"type": "function",
"function": {
"name": "leer_archivo",
"description": "Lee un archivo local",
"parameters": {"type": "object", "properties": {"ruta": {"type": "string"}}}
}
}]
)
print(response.choices[0].message)Este patrón sirve para cualquier runtime local que exponga una API compatible con OpenAI: el agente corre pegado al modelo, sin que las capturas de pantalla ni los archivos salgan de la máquina.
Para confirmar que el runtime está usando de verdad los pesos comprimidos y no una copia en precisión más alta, conviene revisar el consumo de memoria del proceso durante la inferencia: si se acerca a los 3.9 GB (1-bit) o 5.9 GB (Ternary) reportados por PrismML, la cuantización está activa; si duplica o triplica ese número, el runtime está descomprimiendo pesos en algún punto del pipeline.
Impacto y análisis
El caso de uso que PrismML tiene en la mira no es un chat de una sola respuesta: es trabajo sostenido. Un asistente que opera herramientas reales, un flujo que corre sin supervisión durante horas y devuelve un resultado, una investigación que sintetiza decenas de documentos. Ese tipo de carga cambia la forma del problema: un agente no hace una llamada al modelo, hace cientos, cada una arrastrando contexto, produciendo salida estructurada y alimentando la siguiente.
Para ese patrón, depender solo de una API en la nube impone límites estructurales: cada paso es una petición remota, el costo por token se acumula con cada iteración, y cada plan, cada llamada a herramienta y cada resultado intermedio cruza la red, incluyendo archivos privados, pantalla y datos del usuario. Cuando el modelo cabe en el dispositivo, el costo marginal de un bucle de cien pasos es cero y los datos no salen de la máquina.
flowchart TD
A["Solicitud del usuario"] --> B{"Sensible o de bajo riesgo?"}
B -->|"Si"| C["Bonsai 27B local (Ternary o 1-bit)"]
B -->|"No, paso complejo"| D["Modelo frontier en la nube"]
C --> E["Respuesta sin salir del dispositivo"]
D --> F["Respuesta via API"]PrismML plantea explícitamente esta arquitectura híbrida: enrutar tareas sensibles a privacidad o que no exigen el modelo más potente hacia Bonsai 27B local, y reservar los modelos frontier en la nube para los pasos más difíciles. Esa combinación baja el costo por tarea de un sistema agéntico completo, sin resignar capacidad en los pasos que de verdad la necesitan.
⚠️ Ojo: la variante más liviana, 1-bit Bonsai 27B, es también la que más cede en llamadas a herramientas (66.0 contra 80.0 del modelo base). Para un agente que ejecuta pasos críticos esa diferencia importa.
La contrapartida aparece justo en la tabla de benchmarks: 1-bit Bonsai 27B es la que más cede en llamadas a herramientas y en instrucciones complejas (65.8 contra 78.4). Conviene reservar 1-bit Bonsai 27B para tareas de bajo riesgo o pasos intermedios, y usar Ternary Bonsai 27B, que retiene el 95% del desempeño original, cuando la confiabilidad del flujo agéntico es la prioridad.
Qué sigue
PrismML no publicó una hoja de ruta concreta más allá del lanzamiento de hoy, pero la dirección queda clara: la arquitectura híbrida que describe (modelo local para tareas sensibles y rutinarias, modelo frontier en la nube para lo difícil) apunta a convertirse en el patrón por defecto de los sistemas agénticos, no en una opción de nicho.
Con Bonsai 27B disponible bajo Apache 2.0, el próximo paso lógico es que aparezcan integraciones de terceros: runtimes de inferencia, frameworks de agentes y aplicaciones móviles que empaqueten el modelo directamente. Eso es algo que se puede verificar con el tiempo revisando los releases oficiales de PrismML, no algo que se pueda dar por hecho todavía.
📖 Resumen en Telegram: Ver resumen
Probalo vos: descargá la build Ternary de 5.9 GB y corré el comando de llama-cli de la sección anterior para ver cuánto tarda la primera respuesta en tu propio hardware.
Preguntas frecuentes
¿Qué significa “1.71 bits efectivos por peso”?
Es el promedio de información que ocupa cada peso del modelo una vez que se suman los valores discretos ternarios y los factores de escala en FP16 que los acompañan. Cuanto más bajo el número, más chico el modelo en disco y en memoria, a costa de precisión.
¿Bonsai 27B funciona sin conexión a internet?
Sí. Al correr completo en el dispositivo, laptop o teléfono, no necesita una conexión activa para generar respuestas ni para usar herramientas locales.
¿Cuál es la diferencia real entre Ternary y 1-bit?
Ternary Bonsai 27B pesa 5.9 GB y retiene el 95% del desempeño del modelo base; 1-bit Bonsai 27B pesa 3.9 GB, cabe en un iPhone 17 Pro y retiene el 90%. La elección depende del dispositivo destino y de cuánta caída de precisión en tareas agénticas se puede tolerar.
¿Se puede usar Bonsai 27B en producción para tareas agénticas críticas?
Con matices. La variante Ternary se mantiene cerca del modelo original en llamadas a herramientas (74.0 contra 80.0); la variante 1-bit cede más (66.0), así que conviene reservarla para pasos de bajo riesgo dentro de un flujo agéntico, no para la totalidad del flujo.
¿Qué licencia tiene Bonsai 27B?
Apache 2.0, la misma licencia permisiva que usan la mayoría de los proyectos de código abierto para uso comercial sin restricciones mayores.
¿Bonsai 27B reemplaza a los modelos en la nube?
No según el propio anuncio de PrismML: la compañía plantea un esquema híbrido donde Bonsai 27B atiende tareas locales y sensibles a privacidad, mientras los modelos frontier en la nube siguen resolviendo los pasos más exigentes.
Referencias
- PrismML: Announcing Bonsai 27B: anuncio oficial con las cifras de tamaño, benchmarks y rendimiento citadas en este artículo.
- Apache License 2.0: texto completo de la licencia bajo la que se publica Bonsai 27B.
- QwenLM en GitHub: repositorio de la familia Qwen, el modelo base sobre el que PrismML construyó Bonsai 27B.
- PrismML: sitio oficial de la compañía detrás de la familia de modelos Bonsai.
📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.
0 Comentarios