NVIDIA MotionBricks: генератор движений в реальном времени с 350 тысячами навыков!
NVIDIA представила проект MotionBricks: генератор движений в реальном времени. Одна нейросеть управляет 350 тысячами навыков, работает на скорости 15 тысяч fps и имеет задержку около 2 мс. Ранее подобная технология была доступна только для робота Unitree G1.
Что умеет MotionBricks
- ходьба, бег, повороты по командам скорости и направления;
- стили: хромающий, зомби, подпрыгивающий, боком, боевой;
- переходы между стилями и походками прямо в рантайме;
- взаимодействие с предметами: поднять меч, сесть, перепрыгнуть скамью;
- новые задачи без дообучения и без тегов под задачу.
Технические детали
Движение рассчитывается для двух тел: человеческого SOMA и робота Unitree G1. Готовые модели поставляются в ONNX, чекпоинты доступны на Hugging Face. Прокси-кадры задают взаимодействие, подход и контакт, а сеть додумывает детали сама. Рантайм построен на Warp, Newton и TensorRT, есть экспортер в ONNX. Демо на Unreal Engine 5 длиной 2:40 записано без склеек, фиксации стоп и ручных переходов.
Исходный код и материалы проекта: github.com/NVlabs/motionbricks.
Ещё новости:
