Unsloth представили NVFP4-квантизацию для Gemma 4: быстрый инференс без потери точности.
Unsloth представили новую 4-битную NVFP4-квантизацию для моделей семейства Gemma 4. Главное преимущество заключается в более быстром инференсе на графических процессорах Blackwell без характерного для сжатия падения качества ответов.
Ключевые показатели
- Gemma-4-12B NVFP4 запускается на 11 ГБ видеопамяти.
- Gemma-4-26B-A4B достигает скорости до 13 тысяч токенов в секунду на ускорителе B200.
- Использование NVFP4 даёт до полуторакратного ускорения на GPU.
NVFP4 представляет собой не просто очередной стандарт 4-битного квантования, а формат, специально оптимизированный под архитектуру Blackwell. Он позволяет разогнать инференс, сохраняя точность вычислений выше, чем при обычной грубой квантизации.
Для сценариев локального и самостоятельного хостинга это существенный сдвиг: больше моделей умещается в доступную память, пропускная способность увеличивается, а стоимость обработки одного токена снижается. Наибольшую выгоду получат те, кто работает с потоком коротких запросов, агентными пайплайнами или пакетной обработкой данных, где решающую роль играют скорость вычислений и объём VRAM.
Подробнее можно узнать в официальных источниках:
Ещё новости:
