NVIDIA представила SANA-Streaming: редактирование видео в реальном времени прямо у вас на ПК!
Компания NVIDIA представила технологию SANA-Streaming, которая позволяет редактировать видео в реальном времени с помощью текстовых запросов. Инструмент работает локально и напоминает концепцию Stream Diffusion.
Качество изображения пока оставляет желать лучшего, однако технология обеспечивает изменение видеопотока непосредственно в процессе воспроизведения. Если представить развитие событий через год, на новых чипах подобные решения смогут выдавать картинку хорошего качества в FullHD или даже в 4K.
Сейчас SANA-Streaming функционирует локально на видеокарте RTX 5090, потребляя всего 5.56 ГБ видеопамяти при разрешении 720p. В основе лежат технологии 4-step distillation и causal VAE decoding.
Ознакомиться с проектом можно по ссылке: nvlabs.github.io/Sana/Streaming
Ещё новости:
