FLUX 3 Action: открытые веса для роботов и первое место в RoboLab.
Black Forest Labs 23 сентября представила FLUX 3 Action. Это модель на 7 млрд параметров, которая одновременно предсказывает действия и то, как после них изменится картинка с камеры. Веса уже доступны: модель можно дообучать под своего робота или виртуальную среду.
Как это работает
Модель получает изображение, текущее состояние системы и текстовую задачу. Затем она рассчитывает движения вместе с будущими кадрами. Робот выполняет часть плана, снова смотрит вокруг и корректирует следующие шаги. Такой подход называют World Action Model, то есть моделью мира и действий.
В конфигурации DROID один план содержит 32 действия примерно на две секунды. Число команд зависит от робота: для SO-101 в документации указаны 42. Это цикл «посмотрел, спланировал, сделал, поправился». Подробнее о механике.
Результаты
В таблице RoboLab-120, теста робототехнических задач в симуляции, FLUX 3 Action занимает первое место с 42,9% успешных попыток. У Cosmos3-Nano-Policy результат 36,8%: разница около 6,1 процентного пункта. При этом у FLUX 3 Action 7 млрд параметров против 16 млрд у Cosmos3-Nano-Policy, то есть примерно на 56% меньше.
Отметим, что со скоростью есть нюанс: сравниваются разные версии. По данным BFL в ветке, одношаговый вариант обрабатывает каждую секунду запланированного движения в диапазоне от 1,45 до 1,66 раза быстрее π0.5, а горизонт плана составляет 2,13 секунды против одной. Это заявленные замеры разработчика, а не ускорение самого робота во столько же раз.
Что можно забрать себе
- базовые веса и версии для DROID и SO-101;
- код и рецепты дообучения;
- интеграция с LeRobot в ветке main.
BFL также сообщает о совместной работе с NVIDIA над запуском на Jetson. Веса распространяются по FLUX Kommunity License с условиями использования.
Разработчики уже обучили отдельные варианты играть в шутер и гонки, а также управлять дроном в симуляторе. Это ранние эксперименты под конкретные задачи. Практический интерес в том, чтобы обучить модель своим действиям по демонстрациям: от перекладывания предметов до полёта под столом в виртуальной комнате.
Ещё новости:
