Marigold V2: оценка глубины по одному изображению становится резче и быстрее!
Marigold V2 представляет собой переработанную версию Marigold для оценки глубины по одному изображению. Модель превращает DiT в инструмент оценки глубины и выглядит многообещающе.
Основные особенности
- Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально.
- Решает проблему размытия: шерсть, листья, тонкие края, которые раньше размазывались, теперь стали резкими.
- Обобщается на непохожие данные.
- Не только глубина: те же приёмы дают SOTA на оценке нормалей и разложении изображения на компоненты.
- Два ключевых приёма: выравнивание внутренних представлений с семантикой и двухстадийный файнтюнинг с Sinkhorn-лоссом.
Ещё новости:
