StreamEval: бенчмарк NVIDIA для стриминговых видеомоделей протестировал 37 нейросетей.
Исследователи из NVIDIA, Tsinghua University, CMU, UC Berkeley, Princeton, NUS и Reactor опубликовали бенчмарк StreamEval. Он оценивает способность моделей генерировать видео в реальном времени: проверяет, умеет ли модель выполнять запросы пользователя прямо во время стрима и не ломать то, что уже есть в кадре.
В бенчмарке 300 сценариев длиной от 15 до 300 секунд. Среди них: поговорить с цифровым аватаром, попросить его поднять руку, сдвинуть камеру в сгенерированной сцене, перекрасить предмет в идущем видео. Авторы прогнали через StreamEval 37 моделей.
Какие задачи проверял бенчмарк
- Диалог с аватаром. Цифровой персонаж слушает речь пользователя, отвечает по смыслу и помнит, о чем шла речь раньше. Лучший результат у Vidu S2 Avatar: 75 из 100 за качество диалога.
- Действия аватара. Аватар произносит заданный текст и по ходу выполняет команды вроде «подними правую руку» или «посмотри влево». Картинку модели держат хорошо: у Vidu S2 Avatar стабильность видео 97 из 100. При этом команды даже лидер корректно выполняет только в 37% случаев.
- Генерация мира. Модель создает сцену и меняет ее по командам: «лодка плывет к причалу», «камера сдвигается вправо». Лучше всех команды выполняет Krea Realtime, и это всего 26% запросов.
- Редактирование видео по тексту. В идущем видео нужно изменить объект по текстовой команде, например перекрасить вазу, и не испортить остальной кадр. Лучший результат у Vidu S2 Editing: 57 из 100 за полностью корректные правки.
- Редактирование видео по картинке. То же самое, но нужный вид объекта задается изображением. Это самая сложная задача: максимум 15 из 100.
Проект открытый. Код оценки опубликован на GitHub, тестовые сценарии с таймлайнами и медиафайлами выложены на Hugging Face, а результаты моделей собраны в лидерборде.
Ещё новости:
