WorldCrafter: видеомодель мира с неявной 3D-памятью и возвратом к знакомым ракурсам.
Проект WorldCrafter использует неявную 3D-память: видеогенераторы часто теряют сцену, когда камера отворачивается, а эта модель запоминает сцену и восстанавливает её при возврате.
Что умеет WorldCrafter
- исследование мира с одной картинки;
- генерация мира из текста и управление камерой;
- возврат к знакомым ракурсам;
- синтез новых ракурсов из нескольких изображений;
- реалтайм-стриминг;
- минуты исследования сцен, статика и динамика.
Доказательство: из сгенерированных видео реконструируют point clouds. Геометрия и позы камер сходятся при повторных проходах.
Проект опубликован на GitHub и доступен на Hugging Face.
Ещё новости:
