Hasta 8 veces más rápida y 14 veces más ligera, la nueva IA pulveriza récords pese a su tamaño compacto.

Los modelos de lenguaje ligeros durante mucho tiempo se consideraron un compromiso entre velocidad y calidad. Sin embargo, una prometedora startup estadounidense propone un enfoque distinto, prometiendo que una IA potente podrá funcionar directamente en los dispositivos, sin la nube y sin gastos energéticos innecesarios.

Компания PrismML presentó el modelo Bonsai 8B con una arquitectura inusual, en la que cada peso de la red neuronal se almacena en un solo bit —efectivamente como un signo «más» o «menos». Gracias a esta simplificación, el modelo ocupa alrededor de 1,15 GB de memoria, permaneciendo comparable en calidad con otras soluciones de la misma categoría. Según los desarrolladores, Bonsai 8B resultó 14 veces más compacto, funciona hasta 8 veces más rápido y requiere cinco veces menos energía en dispositivos periféricos.

Los modelos de lenguaje clásicos basados en transformadores usan millones o miles de millones de parámetros, representados como números de alta precisión. Cuanta mayor es la precisión, más memoria se requiere y más estables son los resultados. Reducir la precisión de las representaciones suele empeorar la calidad, especialmente en razonamientos complejos y en el uso de herramientas. En PrismML afirman haber superado estas limitaciones gracias a una nueva base matemática desarrollada por el equipo dirigido por el profesor del Instituto Tecnológico de California (Caltech), Babak Hasibi.

En lugar de los números tradicionales en coma flotante, el modelo utiliza un coeficiente de escalado compartido para grupos de parámetros. Este enfoque permitió conservar la capacidad para razonamientos lógicos y el seguimiento preciso de instrucciones, que antes se veían afectados por la compresión intensa.

Los desarrolladores proponen evaluar los modelos con un nuevo indicador —«densidad de inteligencia». Tiene en cuenta no solo la precisión, sino también el tamaño del modelo. Por este criterio, Bonsai 8B supera notablemente a los competidores, incluido Qwen3 8B, aunque en algunas pruebas queda por detrás en métricas absolutas.

La meta principal de PrismML es trasladar la inteligencia artificial más cerca del usuario. La empresa espera que los modelos compactos encuentren aplicación en dispositivos móviles, robótica y sistemas empresariales, donde son importantes la eficiencia energética y el control de los datos. Bonsai 8B ya funciona en dispositivos Apple a través de MLX y en GPU Nvidia con la ayuda de llama.cpp. El modelo se distribuye bajo la licencia Apache 2.0.

Además de la versión insignia, están disponibles variantes más ligeras: Bonsai 4B y Bonsai 1.7B. La empresa considera la arquitectura de 1 bit como punto de partida y pretende desarrollar esta línea más a fondo.