Видео-диффузионная модель Video Diffusion Avatars создаёт 3D-аватар по одному фото с раздельным управлением камерой, мимикой и позой.
Перед нами проект Video Diffusion Avatars. Он создаёт трёхмерного аватара по одной фотографии. Видео-диффузионная модель дообучена так, чтобы отдельно управлять камерой, мимикой и позой верхней части тела.
Выученные коды мимики заметно зависят от ракурса. Модель компенсирует эту зависимость, иначе аватар двигался бы вместе с камерой. Тренировка на тройках камер работает по той же логике: для согласованности модели показывают один момент с трёх точек.
- Камера движется по любой траектории вокруг головы, вплоть до полного облёта.
- Мимика задаётся отдельным управляющим сигналом, вплоть до языка и рта.
- Поза корпуса управляется независимо.
- На вход подаётся одна картинка, метод работает и на нарисованных персонажах.
- Тени, отражения и преломления появляются сами, без явного рендера.
Модель обучена на WAN-Animate-14B.
Ускоренная версия держит 3000 кадров без распада и выдаёт почти 5 fps при разрешении 288 на 512.
Страница проекта: Video Diffusion Avatars
Ещё новости:
