Система CollabVR улучшает генерацию длинных видео с помощью VLM и Veo 3.1.
Представлена система CollabVR, призванная улучшить качество генерации длинных видео. Ее ключевая задача — помочь избежать дрейфа (размытия сюжета) в многошаговых сценариях и предотвратить появление ошибок в середине генерируемого клипа.
Принцип работы CollabVR построен на взаимодействии модели визуального языка (VLM) и видеогенеративной модели (VGM):
- VLM планирует следующее действие в сцене;
- VGM генерирует соответствующий видеоклип;
- Система анализирует полученный результат и исправляет ошибки на следующих шагах генерации.
На данный момент технология интегрирована с моделями Veo 3.1 и VBVR-Wan2.2. Ознакомиться с разработкой можно на GitHub.
Ещё новости:
