SCoPE: управление камерой в видеогенераторе Wan2.2 по одному кадру и траектории.
Мы изучили проект SCoPE. Это модификация видеогенератора Wan2.2 для управления камерой. Задаётся один кадр и траектория движения камеры, на выходе получается видео с нужным движением.
У каждого пикселя картинки есть луч от камеры в сцену. Пока сцена не сгенерирована, не совсем понятно, что находится в кадре, но луч уже задан пользователем. SCoPE добавляет этот луч в механизм внимания. Теперь внимание сравнивает не только «что изображено», но и «откуда смотрим». Если два луча пересекаются в одной точке сцены, они усиливают друг друга. Так модель понимает геометрию.
Возможности
- Все типы движения камеры: наезд, отъезд, облёт, подъём краном, произвольные пути
- Можно прогнать сцену с несколькими траекториями
- Управление с клавиш WASD
- Пересъёмка входного видео с новой камерой
- Добавляет меньше 0.1% новых параметров, это почти бесплатно
Проект прикручен к Wan2.2. Посмотреть код можно на GitHub, а модель на Hugging Face.
Ещё новости:
