Lucy 2.5: нейросеть для реалтаймового композитинга и редактирования видео теперь умеет менять стиль и объекты на лету.
Видеогенератор Lucy получил обновление до версии 2.5. Идея не нова: подобные возможности мы уже видели в разных «Лайфпортретах», «Инфинитоках» и, конечно, у Kling в Motion Control. Пользователь загружает изображение персонажа (подойдёт даже любая неведомая сущность), берёт видео, где кто-то двигается перед камерой, и в результате картинка повторяет это движение. В 3D такой процесс называют ретаргетом.
Но главное отличие Lucy в том, что всё это работает в реальном времени. Достаточно взять картинку и веб-камеру, чтобы начать стримить с частотой 24–30 кадров в секунду. Разработчики заявляют о near-zero latency, однако с учётом интернета задержка, вероятно, составит 1–2 секунды.
Нововведения версии 2.5:
- Изменение стиля, замена фона, а также добавление, замена или удаление объектов в реальном времени на веб-камере или в трансляции во время воспроизведения.
- Замена персонажей, изменение цвета и текстуры, а также добавление визуальных эффектов, таких как огненные шары, взрывы и дым.
- Замена персонажей по эталонному изображению и виртуальная примерка с интерактивной задержкой.
- Более точная изоляция редактируемых объектов и точное соблюдение указаний при работе с мелкими, смещёнными относительно центра и нечеловеческими объектами.
По сути, это реалтаймовый композитинг. Мы понимаем, что, поскольку всё происходит в реальном времени, качества продакшна ждать не стоит.
Опробовать Lucy 2.5 можно по ссылкам: lucy.decart.ai и fal.ai/models/decart/lucy-2-5/realtime.
Ещё новости:
