Bonsai 2 27B: модель на 27 млрд параметров ужали в 9 раз и запустили на слабом железе.
Разработчики из PrismML представили новую версию языковой модели Bonsai 2 27B, которая базируется на архитектуре Qwen3.8. Главная особенность релиза: модель удалось сжать в девять раз по сравнению с исходной версией.
Теперь веса модели занимают всего 5,9 ГБ вместо 54 ГБ у оригинала. Секрет такого сжатия заключается в использовании квантования весов до трёх значений: −1, 0 и +1. По внутренним тестам команды, после сжатия модель сохранила 98,2% среднего результата исходной версии. То есть размер сократился радикально, а потеря качества оказалась небольшой.
Bonsai 2 27B умеет писать код, работать с инструментами и поддерживает контекст до 262 тысяч токенов. Запускать модель можно локально на видеокартах NVIDIA или устройствах Apple с чипами Apple Silicon.
Скачать модель можно на странице коллекции Hugging Face.
Ещё новости:
