PrismML выпустила Bonsai 27B: мультимодальная модель, работающая прямо на смартфоне!
PrismML выпустила Bonsai 27B, мультимодальную модель на базе Qwen3.6-27B, которая помещается в память телефона. Полновесная версия занимает около 54 ГБ, а здесь представлены две сборки: ternary на 5,9 ГБ с 1,71 бита на вес и 1-bit на 3,9 ГБ с 1,125 бита.
По 15 внутренним тестам PrismML ternary сохраняет 95% качества исходной модели, 1-bit сохраняет 90%. Обе держат контекст 262K, умеют работать с изображениями, инструментами и длинными агентными цепочками. На iPhone 17 Pro Max компания демонстрирует именно 1-bit, ternary рассчитана скорее на ноутбуки.
Веса уже выложили под лицензией Apache 2.0 в форматах для llama.cpp и MLX.
Ещё новости:
