VidDub: дубляж видео с перерисовкой губ сохраняет лицо, позу, фон и одежду.
Проект VidDub предназначен для дубляжа видео под новую речь: губы перерисовываются, а лицо, поза, фон и одежда остаются исходными.
Обычно такие модели учат восстанавливать кадр по тому же звуку, который в нём звучит, и рот запоминается вместе с речью. В VidDub для заменённой речи восстановление рта специально отключают, оставляя модели только синхронизацию и всё остальное в кадре. Затем большой учитель сжимается в студента за два шага, чтобы вернуть резкость.
Ключевые особенности
- Тянет длинные фрагменты до минуты.
- Смотрит на всё окно из 81 кадра сразу, а не по кадрам.
- Около 11 кадров в секунду на одной H200.
Синхронизация на HDTF выше, чем у Wav2Lip, Diff2Lip и LatentSync. На своём бенчмарке VidDub-Bench тоже лучший результат.
Полезные ссылки: страница проекта, github.com/LAW1223/VidDub, hf.co/AIPeanutman/VidDub.
Ещё новости:
