Rollback от AgiBot Research: world model задом наперёд и обучение на разнице.
Команда AgiBot Research представила исследование, посвящённое необычному подходу к обучению роботов с использованием world model. Проект называется Rollback.
Авторы описывают world model «задом наперёд»: возврат к ключевым решениям, ветка в другие действия и обучение на разнице.
Ключевые особенности
- откат к сохранённым состояниям модели мира из реальных и симулированных попыток, проба других action chunks;
- MCTS направляет вычислительный бюджет на решения, где разные действия ведут к разному финалу;
- sibling-ветки из одного состояния дают action-level метки, value-модель не обучается;
- робот собирает данные во время тренировки, GE-Sim 2.0 дообучается, поиск идёт по точному симулятору.
Таким образом, Robotic RL реализуется без value-модели и без реальных провалов: плохие исходы ищут откатом в симуляторе.
