VAST представили EdenLive: генеративная отрисовка видео в реальном времени!
VAST выложили модель EdenLive, которая превращает черновой прокси-стрим в готовое видео в реальном времени. Модель отвечает за картинку, а внешний код управляет состоянием сцены и взаимодействием.
Что на входе
- Поток прокси из 2D или 3D сцены, игрового движка или записи.
- Первый кадр и текстовый промпт.
- Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку.
Как устроено
- Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер.
- Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим.
- Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше.
- Есть демо на несколько минут, 5B в 720p работает на одной карте.
Что с весами
- Около 210 ГБ, все компоненты в одной папке.
- Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая.
Ссылки: huggingface.co/VAST-AI/EdenLive, github.com/VAST-AI-Research/EdenLive.
Ещё новости:
