Google DeepMind и анимационная студия представили короткометражный фильм, созданный с использованием генеративных нейросетей.
Короткометражный фильм «Dear Upstairs Neighbors» был представлен на фестивале Sundance Film Festival. Задачей проекта была проверка того, как генеративные инструменты можно интегрировать в рабочий процесс художников, не теряя при этом контроля над результатом.
Сам ролик можно посмотреть по ссылке: YouTube.
Проект стал результатом коллаборации опытных аниматоров и исследователей Google DeepMind. Режиссером выступила Connie He, ранее работавшая в Pixar.
Что сработало в продакшене
- Настройка под стиль (fine‑tune)
Для сохранения стабильного вида персонажей команда дообучила кастомные модели Veo и Imagen на собственном арте. - Гибридный пайплайн, а не "текст → магия"
Черновую анимацию создавали в привычных инструментах: Maya, TVPaint и других. Затем материал обрабатывали через дообученные модели Veo и Imagen, используя для Imagen кастомный workflow на ComfyUI. На этапе монтажа свободно переключались между генерацией и обычными инструментами, такими как Premiere. - Итерации без перегенерации всего кадра
Ни один кадр не был создан в один клик. Для экономии времени использовали локальные правки, редактируя конкретные области с регулируемой степенью контроля. Например, с помощью маски просили модель Veo доработать часть волос в нужной зоне.
Что можно применить в собственном продакшене
- Зафиксируйте художественные правила как спецификацию: силуэт, пропорции, палитры по состояниям, список «что нельзя ломать».
- Соберите небольшой, но качественный датасет для дообучения модели или для референсных кадров.
- Переходите от text‑only к video‑to‑video: движение задает аниматор, генерация отвечает за стиль.
- Вносите правки точечно, используя маски или региональные правки, чтобы избежать дорогостоящей полной перегенерации.
- Отделяйте финальный мастеринг от стилизации: сначала определите стиль и производительность, затем выполните апскейл с контролем сохранения художественного языка.
Более подробную информацию о проекте можно найти в полной статье.
Ещё новости:
