Grug-12B: open-source модель с компактными рассуждениями, которая тратит на 69.8% меньше токенов.
Состоялся релиз Grug-12B, экспериментального open-source fine-tune на базе Gemma 4 12B IT.
Идея простая: заставить модель «думать» короче, но не терять в качестве ответа. Grug обучали в стиле compact-reasoning, нацеленном на уменьшение количества воды и лишних шагов при одновременном увеличении плотности рассуждения.
По заявлению автора, модель генерирует примерно на 69.8% меньше reasoning-токенов и при этом остается близкой к показателям базовой Gemma 4. На небольшом локальном math-eval она снизила среднее число сгенерированных токенов с 228.5 до 68.9.
Главный плюс такого подхода: более быстрые ответы и меньше забитого контекста.
Ознакомиться с моделью можно по ссылке на Hugging Face.
Ещё новости:
