TurboFieldfare запускает Gemma 4 26B на любом MacBook M при 2 ГБ ОЗУ!
Мы обратили внимание на интересную разработку с GitHub. Утилита TurboFieldfare даёт возможность запускать мощную языковую модель Gemma 4 26B-A4B на любом MacBook с процессором Apple Silicon (M1 и новее), расходуя при этом лишь 2 ГБ оперативной памяти вместо стандартных 16 ГБ.
Модель занимает на диске около 15 ГБ, но в оперативную память подгружается только необходимый фрагмент объёмом 2 ГБ. Такой подход делает запуск большой LLM реальностью даже на маломощных конфигурациях.
Скорость работы зависит от устройства:
- На MacBook Air M2 утилита выдаёт порядка 5 токенов в секунду.
- На M5 Pro скорость достигает 35 токенов в секунду, тогда как Colibri на том же железе давал лишь 0,5 т/с.
Приятное дополнение — пользоваться TurboFieldfare можно без консоли. Разработчик предусмотрел простое и удобное приложение с интерфейсом, напоминающим ChatGPT.
Установка и исходный код доступны на GitHub: drumih/turbo-fieldfare. Рекомендуем попробовать всем владельцам «яблочных» ноутбуков!
Ещё новости:
