PrismML представила компактные модели Bonsai 2: сжатие в девять раз и скорость до 120 токенов в секунду.
Мы изучили анонс американской ИИ-компании PrismML: она расширила семейство Bonsai 2, представив три новые модели с 2, 4 и 9 миллиардами параметров. Все они созданы на основе Qwen 3.5 от Alibaba.
Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Благодаря этому размеры файлов удалось сократить до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно. Это примерно в девять раз меньше, чем у исходных моделей с 16-битными весами.
Новые модели поддерживают рассуждения, понимание изображений и вызов инструментов. Прежде всего они предназначены для локальных ИИ-агентов, работающих на смартфонах, персональных компьютерах и других устройствах.
По данным PrismML, на iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, тогда как версия 2B достигает скорости 120 токенов в секунду.
В официальных тестах Bonsai 2 9B практически не уступает исходной Qwen 3.5 аналогичного размера в программировании и следовании инструкциям. На сложных задачах разница заметнее.
В Tau2Bench, который проверяет способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла против 85,25 у оригинальной Qwen 3.5. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно.
Веса всех трёх моделей уже опубликованы под лицензией Apache 2.0.
При этом стоит учитывать, что 2 ГБ это размер только языковой модели 9B в наиболее компактном формате. Для обработки изображений потребуется дополнительно загрузить визуальный модуль объёмом около 0,62 ГБ.
Скачать модели можно в коллекции Hugging Face: https://huggingface.co/collections/prism-ml/bonsai-2-small
Ещё новости:
