Corridor Crew выпустили CorridorKey 2 для удаления фона без хромакея.
Corridor Crew выпустили CorridorKey 2, обновлённую версию инструмента для удаления зеленого и синего экрана. Инструмент сработает даже там, где хромакея нет.
CorridorKey 2 принимает на вход видео и прогнозирует маску (matte) и чистый передний план для каждого кадра. Можно использовать подсказки (белое остается, черное вырезается), указывающие, какой именно объект нужно изолировать.
Есть три варианта подсказок:
- No Hint: модель под капотом сама решает, что вырезать, а что оставить.
- First-Frame Hint: подсказка в виде первого кадра.
- Full Hint Video: подсказка в виде полного видео для каждого кадра.
Инструмент поддерживает HDR и может экспортировать последовательности кадров в формате OpenEXR с линейным цветовым пространством сцены (scene-linear).
В отличие от первой версии, CorridorKey 2 научился работать в исходном разрешении видео и получил мощную временную стабилизацию за счет наложения окон Ханна, что убирает неприятное мерцание по краям маски.
Инструмент больше не полагается на одну модель. Он комбинирует предсказания трех базовых нейросетей: C-RADIOv4 от NVIDIA, MoGe-2 от Microsoft и RVM от Google DeepMind.
Как итог, повысилась точность обработки фрагментов в сложных сценах, где есть окклюзии, волосы и шерсть, полупрозрачные вещи, расфокус и блюр, или объект и фон сливаются.
Для работы нужна видеокарта RTX 30-й серии или новее: 4 ГБ VRAM для 2K-футажа и 6 ГБ VRAM для 4K. Можно запустить на Windows и Linux. Код доступен на GitHub, веса на Hugging Face.
Есть плагины для DaVinci, Nuke, After Effects, Premiere Pro и Blender на Windows и Mac (бета). Linux в планах. Также есть отдельное приложение.
Инструмент можно свободно использовать для коммерческих проектов.
Ссылки: YouTube, Сайт, GitHub, Hugging Face.
Ещё новости:
