RelayVSR: апскейл видео до 1080p на одной A100 со скоростью 29 кадров в секунду!
Мы обратили внимание на модель RelayVSR, которая ускоряет апскейл видео: тяжёлая модель не считает каждый кадр, а рисует опорные латенты только на редких ключевых кадрах. Остальную работу добивает лёгкая сеть.
Ошибка в общем ключевом кадре расползается по всему ролику, поэтому учить модель только на красивых ключах бесполезно. В проекте добавили обучение с подкреплением и две награды: одна оценивает итоговое видео после лёгкой сети, вторая оценивает качество самих опорных кадров.
Особенности
- Потоковая обработка, длинные ролики без разбивки на куски
- Ключевые кадры задают детали, промежуточные берут их и недавний контекст
- Есть режим опоры на первый кадр и на два конца с ограниченным заглядыванием вперёд
- Работает и на реальном видео, и на сгенерированном
Производительность
- 1080p на одной A100: около 29 кадров в секунду при 13,8 ГБ памяти
- Первый кадр с задержкой 0,33 секунды
- Для сравнения FlashVSR-Tiny на том же железе: 7,8 кадра в секунду, 24,4 ГБ и 2,8 секунды
Ссылки: huggingface.co/Comfy-Org/RelayVSR и github.com/kopperx/RelayVSR.
Ещё новости:
