Giro превращает одно фото в VR-сплат: MiniMax H3, SAM 3.1 и COLMAP в деле.
Giro представляет собой экспериментальный пайплайн: на вход подаётся одна картинка, на выходе получается готовый VR-сплат. Фото превращается в орбитальное видео, затем в обрезанный сплат, по которому можно перемещаться в VR.
Как устроен пайплайн
- Орбита вокруг объекта создаётся через MiniMax H3, фото используется как первый и последний кадр.
- Собственный гейт проверки требует минимум 330° облёта, ровное движение и замкнутый цикл.
- Неудачный сид перебрасывается автоматически, пропущенная дуга догенерируется.
- Объект маскируется через SAM 3.1 до COLMAP.
- Опционально фон можно поправить через Qwen-Image-Edit.
- Обучение идёт с прозрачным фоном, обрезка выполняется по visual hull.
- Экспорт доступен в SPZ, SOG, PLY под VR, есть кнопка View in VR.
- Веб-интерфейс показывает живой прогресс и причины каждого решения.
Требования
- Нужны две видеокарты по 24 ГБ и Linux.
- Экспорт ориентирован на бюджетный Quest.
Ещё новости:
