Сколько памяти нужно Qwen3-8B: контекст 128K меняет требования в разы.
Для Qwen3-8B не нужна RTX 4090, но размер контекста может изменить требования к памяти в разы.
По оценке llamaperf, в Q4_K_M с контекстом 8K модель требует около 7,5 ГБ памяти: веса, KV-кеш и рабочие буферы.
Это ориентир для запуска на видеокарте с 10 ГБ VRAM или Mac с Apple Silicon и 16 ГБ объединённой памяти. На Mac часть памяти также нужна системе и приложениям.
При увеличении контекста до 128K один только KV-кеш в 16-битном формате займёт около 19 ГБ, дополнительно к весам и буферам.
KV-кеш хранит промежуточные данные обработки контекста. Чем длиннее окно, тем больше памяти ему требуется. Квантизация весов до Q4 сама по себе не делает кеш четырёхбитным.
Фактический расход зависит от движка, формата кеша и настроек. Для 128K также нужна соответствующая настройка расширения контекста.
При локальном запуске мы рекомендуем учитывать память под модель вместе с нужной длиной диалога. Для коротких задач максимальное окно часто просто не требуется.
Ещё новости:
