Сбер открыл исходный код Kandinsky Avatar 1.0 для генерации говорящих видеоаватаров.
Сбер открыл исходный код модели Kandinsky Avatar 1.0 для генерации говорящих видеоаватаров. Модель создаёт ролики продолжительностью до 60 секунд с частотой 24 кадра в секунду. Для генерации достаточно изображения, аудиозаписи и текстового описания сцены.
Kandinsky Avatar 1.0 синхронизирует артикуляцию с речью, добавляет мимику, движения головы и жесты. Поддерживаются разные языки: для обучения использовали более миллиона видеофрагментов на 95 языках.
Две версии для разработчиков
- Pro: генерация видео в HD, по оценке Сбера, качество сопоставимо с HeyGen IV.
- Lite: создание роликов в SD, модель можно запустить на домашней видеокарте.
Сбер открыл модели для коммерческого использования. На их основе можно разрабатывать виртуальных консультантов, образовательные сервисы, инструменты локализации и приложения для создания видеоконтента.
Модель доступна на Hugging Face: Kandinsky-S2V-1.0-Pro-distill-Diffusers.
Ещё новости:
