FAB: быстрая реконструкция тела человека по видео с плотными 2D/3D точками и скелетом.
Мы обратили внимание на проект FAB: он предлагает быструю реконструкцию тела человека по видео. Модель сразу выдаёт плотные 2D и 3D точки и скелет, а не только параметры меша. SMPL подгоняется под точки за один проход и два шага Гаусса-Ньютона, поэтому точность сохраняется без длительной оптимизации.
Основные характеристики:
- Студент ViT-L, дистиллированный из дообученного SAM 3D Body
- 39,2 кадра в секунду на одной RTX 4070 Ti SUPER с детекцией человека, в 4,6 раза быстрее
- Точнее SAM 3D Body на большинстве замеров в пространстве камеры
- Предсказывает контакты пятки, носка, кистей и коленей, они привязывают тело к сцене
- Мир метрический с гравитацией, сцена склеивается вокруг человека и выравнивается по контактам
- Ретаргет движения на Unitree G1 точнее SOMA, GMR, UMR и OmniRetarget
Код: github.com/noahcao/FAB.
Модель: huggingface.co/noahcao/FAB.

