Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Будущее уже здесь!

Главная ошибка в создании нейроклипа на 3,5 минуты: почему нельзя начинать с видео.

Мы обратили внимание на интересный эксперимент от Анастасии Абрамовой. Обычно она делает короткие мультики в стиле Pixar, но на этот раз решила проверить себя на длинной дистанции и создала трехминутный музыкальный клип. Это был личный вызов: получится ли удержать одну идею на три с половиной минуты, а не на пятнадцать секунд.

Главная ошибка и рабочий процесс

Анастасия признается, что допустила серьезную ошибку: сначала придумала видео и начала его делать, а песня родилась уже потом. В итоге пришлось жестко подгонять готовый видеоряд под слова, переставлять сцены и резать материал. Если бы она начинала заново, то первой создавала бы звуковую дорожку.

Инструменты и этапы

Вот как выглядел полный стек технологий, использованных в проекте:

  • Видео: Полностью сгенерировано в Runway с помощью модели Seedance 2.0.
  • Картинки: Изображения предметов, локаций и карточки персонажей создавались в ChatGPT.
  • Текстовая работа: Промпты для видео и картинок, а также текст песни были составлены при помощи Claude.
  • Музыка: Трек создавался в Suno. Автор использовала бесплатный тариф, и дневного лимита генераций для работы хватило.
  • Монтаж: Весь финальный монтаж производился в CapCut.
  • Апскейл и липсинк: Не применялись, поскольку проект является музыкальным клипом без озвучки.

Как строились генерации

Анастасия работала только через веб-интерфейс Runway. Она загружала фото-референсы персонажей, локаций и предметов, прописывая их прямо в промпте. Инструмент Video-to-video не использовался. Процесс выглядел так: подробно расписывался тайминг (например, что персонаж делает с 0 по 3 секунду), а также указывались расположение камеры, свет и атмосфера сцены.

Цифры и затраты

На создание всего ролика ушло 33 генерации по 15 секунд каждая. Для песни в Suno потребовалось около 15 генераций, прежде чем был получен устраивающий вариант. Работа заняла три дня с утра до позднего вечера. Отдельного бюджета на ролик не выделялось, так как у автора была активна Unlimited-подписка Runway, а также подписки на остальные сервисы, за исключением Suno.

Сложности

Мы выделили главные моменты, которые вызвали трудности: очень долгое ожидание генераций; физическая и ментальная усталость от непривычно большой формы; а также последствия первоначальной ошибки с монтажом под готовое видео.

Итог эксперимента

Автор довольна тем, что довела идею до конца. Однако, по ее признанию, повторять такой опыт пока не тянет. Интересна и аналитика: на YouTube ролик набрал заметно меньше просмотров, чем короткие мультики. Длинная форма в этой нише пока окупается хуже, чем пятнадцатисекундные видео в стиле Pixar.


Ещё новости:

Вышел Skales: полезный ИИ-агент, который запустится даже на слабом ПК.
Эндрю Ын представил open source ИИ-агента OpenWorker.
Авито запустил флешмоб: что пользователи никогда не доверят ИИ?
Любую книгу можно превратить в навык для нейросети: вышел конвертер book-to-skill.
Anthropic научит Claude проектировать процессоры.
Higgsfield выложили 95-минутный ИИ-фильм Hell Grind со всеми промптами.
Cloudflare выдал ИИ-агентам кошельки и читаемые адреса для оплаты API и контента.
Бывший сотрудник Google запустил «AI-бота», который оказался обычным человеком.
Человек с помощью Claude написал Bluetooth-радар для поиска телефона.
Бабушкины сказки от нейросетей: родители бьют тревогу.