Veda от ByteDance, HKU и USTC ускоряет видео-диффузию без потери качества!
Проект Veda от ByteDance, HKU и USTC использует разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы: на 90-95% тратится меньше вычислений при почти незаметной разнице.
Ключевые результаты
- 90% разреженность на уровне полного attention по человеческим оценкам.
- Топ-k пропуск тайлов: внимание масштабируется почти линейно, а не как O(N²).
- Головы и слои получают свои формы тайлов: локальные и дальние зависимости.
- Дистилляция от полного attention через KL до бинаризации маски.
- 720P 241 кадр: с 19,4 до 3,8 минуты, ускорение 5,1x.
- Per-layer attention в 10,5 раза быстрее FlashAttention-3.
- 90% sparsity на WaverBench1.0 не проигрывает dense: 50% против 49%.
Связка с MiniMax H3 и T2VA даёт ускорение до 2,76x end-to-end на RTX 4090.
Код и модель доступны на GitHub и Hugging Face.
Ещё новости:
