ComfyUI 0.45 удвоил скорость генерации Qwen3.x: до 219 токенов в секунду на RTX 5090.
Мы изучили обновление ComfyUI 0.45 и делимся главным.
В версии 0.45 переписан горячий путь генерации Qwen3.x. Те же чекпойнты на той же карте выдают до двух раз больше токенов при том же качестве. На RTX 5090 Qwen3.5 9B выдала 219 токенов в секунду вместо 106, а 27B при описании картинки выросла с 55 до 122 токенов в секунду.
Что изменилось внутри
Генерация каждого токена упирается в скорость чтения весов из видеопамяти, поэтому под неё оптимизировали GEMV-кернел: веса и шкалы разложили в памяти в порядке потребления и встроили нормировку в активацию. Внимание переписали под короткие запросы, а INT8-кэш позволил длинным контекстам, которые раньше не помещались, влезать в память.
Механизм догадок MTP теперь держит запасные варианты деревом вместо одной цепочки и меняет его форму под текст: код выигрывает от глубины, творческое письмо от ширины.
Пользователю ничего не нужно, кроме обновления до 0.45 и значения auto в mtp. Работает на NVIDIA и AMD, Windows и Linux.
Источник: Doubling LLM token rates in ComfyUI
Ещё новости:
