Runway представила GWM Worlds 2: интерактивный генеративный видеомир в реальном времени.
Runway представила GWM Worlds 2. Это генеративный видеомир, который создаётся на лету и реагирует на действия пользователя. Это попытка заменить игровой движок генерацией. Не полностью и пока очень сыро, но концептуально именно так.
На старте задаются окружение, персонажи, визуальный стиль, атмосфера, правила мира и один стартовый кадр. Мультиреференсного режима для отдельных персонажей, объектов и стиля компания не заявляет. После запуска пользователь продолжает взаимодействовать с тем же миром: отдаёт команды отдельным персонажам, меняет сцену, двигает камеру, вызывает новые события.
Runway заявляет генерацию 720p при 24 fps со звуком 48 kHz в реальном времени. Например, можно создать сцену с караванами и ограблением в пустыне, а затем во время сессии заставить их идти, взаимодействовать с объектами, изменить погоду или освещение и одновременно свободно двигать камеру. Для игровых демо текстовые команды можно привязывать к клавишам и мыши, поэтому со стороны это начинает выглядеть почти как обычная игра.
Это развитие прошлогоднего GWM-1, или General World Model, который Runway представила как фундамент для нескольких направлений: Worlds, Avatars и Robotics.
В GWM-1 ветка Worlds уже показывала идею интерактивных генерируемых окружений, но Worlds 2 делает следующий шаг: Runway отдельно подчёркивает непрерывную аудиовизуальную генерацию, управление несколькими субъектами, свободную камеру и возможность менять сам мир во время сессии.
GWM Worlds 2 остаётся генеративной audio-video моделью. Runway описывает её как autoregressive diffusion model: новые кадры строятся на основе исходного описания мира, первого кадра, предыдущей генерации и текущих действий пользователя.
Это означает, что модель не обязана хранить точное постоянное 3D-состояние каждого объекта. Runway сама предупреждает, что на длинных сессиях могут постепенно меняться геометрия, текстуры и детали, особенно при быстрых движениях камеры.
С физикой похожая история. Runway позволяет задавать правила вроде гравитации и столкновений, но это не означает наличие отдельного детерминированного физического движка. Модель скорее пытается визуально продолжать сцену в соответствии с заданными правилами.
Отдельно интересно появление синхронного аудио. Звук теперь является частью того же генерируемого мира: речь, ambience и звуковые события могут продолжаться вместе с видео.
В перспективе Runway видит применение GWM Worlds 2 в новых игровых разработках, виртуальных персонажах, робототехнике и симуляциях embodied agents.
Сейчас GWM Worlds 2 находится в статусе research preview.
Это ответ на Atlas: Runway двигается от генератора видео к модели, которая пытается быть самой средой, внутри которой можно действовать.
Похожие эксперименты уже появляются на базе Minimax H3 Max, и вскоре ожидается открытый ответ от open-source-сообщества.
Ссылки
Ещё новости:
