ComfyUI представила workflow с раздельным управлением движением и камерой!
ComfyUI: это node-based редактор, в котором можно собирать сложные AI-процессы из отдельных блоков.
Новый workflow соединяет SAM 3D Body, Blender и Seedance 2.5, чтобы отдельно управлять актерским движением, камерой и финальным визуальным стилем.
SAM 3D Body: open-source модель Meta. Она восстанавливает трехмерную форму и позу человеческого тела по обычному изображению. В этом процессе ее используют для переноса движения из реальной видеозаписи в 3D-сцену.
Цепочка работает так
- Сначала человек записывает нужное движение на обычную камеру.
- SAM 3D Body переносит положение и движение тела на трехмерную модель.
- Полученная анимация открывается в Blender. Там можно изменить положение виртуальной камеры, ракурс, объектив и траекторию движения независимо от актера.
- Подготовленный результат передается в Seedance 2.5, которая превращает техническую 3D-заготовку в финальную кинематографическую сцену.
Мы внимательно изучили демонстрацию. Самый важный момент здесь не в генерации, а в разделении контроля.
Движение актера задается реальной записью. Камера режиссируется отдельно в Blender. Внешность, окружение и финальный стиль формирует видеомодель.
Это уже больше похоже на полноценный производственный процесс. Можно сначала поставить мизансцену и камеру, проверить тайминг, а только потом тратить генерации на финальное качество. Текстовый промпт перестает быть единственным способом управления сценой.
Стоимость
- Локальные ComfyUI и SAM 3D Body можно использовать бесплатно на своем компьютере. Понадобится мощная видеокарта, время и знания для настройки.
- В Comfy Cloud активная работа GPU тарифицируется по 0,266 кредита в секунду. Это примерно 16 кредитов за минуту, около $0,08 или 7 рублей. Итог зависит от продолжительности работы workflow.
- Запуск Seedance 2.5 оплачивается отдельно как partner node. Точная стоимость показывается перед генерацией и зависит от длительности видео, разрешения, выбранного режима и количества входных материалов.
Готовые workflow
- SAM 3D Body: https://cloud.comfy.org/?template=utility_sam3d_body
- Seedance 2.5: https://cloud.comfy.org/?share=a51863b6a761
На наш взгляд, это один из самых полезных сценариев соединения open-source 3D-инструментов и видеомоделей. Особенно для сцен, где важны точная пластика персонажа, сложный ракурс и управляемое движение камеры.
Ещё новости:
