Evoke от Alaya Lab: бесконечные управляемые видео-миры.
Авторегрессивная интерактивная модель Evoke от Alaya Lab предназначена для генерации бесконечных управляемых видео-миров. Состояние мира отделено от генерации и хранится постоянно, поэтому сцена помнит пространство и может жить часами.
Возможности
- управление камерой: движение, повороты, исследование мира;
- часы непрерывной генерации без растущего контекста;
- смена промпта на лету: новые объекты и события прямо в запущенном мире;
- неинтерактивный режим: мир развивается сам;
- генерация в embodied-сценах.
Технические характеристики
- 14B параметров;
- 3 шага, без CFG;
- учитель EVOKE построен на базе LingBot-World;
- VAE, текстовый энкодер, токенизатор и планировщик от Helios.
Подробнее: GitHub, Hugging Face.
Ещё новости:
