GRACE сжимает видео-автоэнкодер Wan 2.1 и ускоряет генерацию видео в 11 раз.
Мы рассказываем о методе GRACE, который представили исследователи из KAIST AI и Kakao Corp. Он сжимает предобученный видео-автоэнкодер Wan 2.1 так, что DiT работает с числом токенов в 8 раз меньше. Это даёт ускорение генерации в 11,1 раза при сохранении качества по VBench.
Ключевые особенности:
- Сжимает предобученный автоэнкодер Wan 2.1 без потери совместимости с DiT.
- Генерация видео с числом латент-токенов в 8 раз меньше.
- Качество на уровне полного пайплайна по VBench.
- Без переобучения DiT с нуля: достаточно лёгкой адаптации LoRA.
Для Wan 2.1 I2V 14B количество токенов сокращается с 32,8 тысячи до 4,3 тысячи. Ускорение составляет 11,1 раза при разрешении 480×832 и 15,5 раза при 736×1280. Инференс занимает 78 секунд против 863 секунд на A100 80GB. Также используется асимметричный денойзинг, при котором база очищается раньше остатка.
Ссылки: страница проекта, GitHub, Hugging Face.
Ещё новости:
