FlowHMR: физически правдоподобный мокап из обычного видео и перенос движения на роботов.
Мы обратили внимание на FlowHMR. Проект восстанавливает глобальное 3D-движение человека из монокулярного видео. Результат физически правдоподобный: симулируемый персонаж может отслеживать это движение, а физический контроллер может повторить его в симуляции.
Ключевые характеристики:
- 0.46B параметров;
- глобальный 3D-motion из одиночного видео;
- физически корректное движение: симулируемый персонаж может его отследить;
- Flow matching и physics-based GRPO;
- демо в 3D-вьювере на сайте проекта.
Как применяют
- Робототехника: ретаргет на Unitree G1, трекинг в симуляции через SONIC.
- Анимация: реконструкция сцены и ретаргет через GPT-6 Astra.
- Text-to-motion: генерация видео через MiniMax H3, затем захват движения FlowHMR.
Исходники доступны на GitHub, модель на Hugging Face.
Ещё новости:
