Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Будущее уже здесь!

Эксперимент: зомби-хоррор на 3 минуты, собранный только из ИИ-генераций.

Автор эксперимента Илья Силаев собрал трёхминутный зомби-хоррор целиком из ИИ-генераций. Проект связан с персонажем SDARY, планируется серия короткометражек для души. YouTube-канал SDARY: youtube.com/@SDARY-hot, Instagram: instagram.com/sdaryhot.

Срок работы составил три свободных дня, но автор работал с утра до вечера.

Как всё началось

По словам Ильи, хотелось сделать что-то весёлое и динамичное, на грани дозволенного, и посмотреть границы возможностей нейросети.

Инструменты и процесс

  • Персонажей делали в Seedream 5 Pro, потому что GPT Image не очень уверенно работает с откровенными образами. Seedream 5 Pro, наоборот, с такими задачами справляется лучше. Модель иногда делает картинку слишком красивой, но для красивой героини это подходило. Образ собирали с фотографий реального человека и докручивали корректировками.
  • Локации генерировали в GPT Image 2.5: он даёт лёгкую мультяшность, и для комиксового стиля это было уместно. Автор пробовал размещать четыре листа локации на одном изображении, но видеомодель с этим не справилась. Лучше делать одно изображение на один лист.
  • Реквизит модель держит хорошо, но правильное заряжание помпового ружья победить не удалось: модель упорно рисовала заряжание дробовика.
  • Видео генерировали в Seedance 2.5 в разрешении 480p, чтобы сэкономить бюджет. Использовали мультишот-генерации с референсами и текстовым описанием. Стартовые кадры применяли редко, только когда нужно было сохранить расположение персонажей в пространстве.

Результат

Получилось 3 минуты, от 15 до 18 отдельных генераций продолжительностью от 4 до 28 секунд. Звук взят из самой модели. Есть шесть реплик на английском с липсинком.

Ограничения и грабли

  • Модель легко уходит в CGI-пластику на монстрах и массовке.
  • Модерация режет не кровь, а комбинации: одновременно разорванная одежда и ракурс на грудь в кадрах травмы, слишком детальная анатомия вскрытой плоти.
  • Камера по умолчанию залипает. Если не требовать движения в каждом шоте, модель ставит статичный кадр, и герои «позируют». Пришлось прописывать активное движение камеры в каждом шоте отдельно.
  • Музыка лезет в звук сама. В промпте стоял прямой запрет музыки и требование только естественного diegetic-звука.
  • Массовка из сотен персонажей почти всегда уезжает в пластик и ломает пропорции у дальних фигур.

Технические детали

  • Промпты писали так: через LLM задавали текстовую раскадровку с подробными движениями персонажей и камеры, а LLM уже собирала промпт для видеомодели. В самой раскадровке всегда одна структура: фотореализм в первой строке, фиксация персонажей, локации, гардероба и пространственной логики, активная камера, физика тела отдельным блоком, затем явные запреты: музыка, магические SFX, изменение образа.
  • Звук только diegetic, всё прописано по шотам: выстрелы и звон гильз, щелчки затвора, рычание, звон витражей, удар колокола, хруст костей, ветер.
  • Музыка: трек сделан в Suno отдельным инструментальным треком, в видеопромпт не вписывался.
  • Липсинк делался через Seedance 2.5 сразу, прикладывали референс голоса отдельным аудио.
  • Монтаж выполняли в Adobe Premiere, там же проводили цветокоррекцию.
  • Обработку звука сделал знакомый звукорежиссёр: почистил музыку, которую модель вставляла несмотря на запреты, и акцентно доделал озвучку некоторых действий.
  • С апскейлом автор ещё не победил: всё, чем пользовался, даёт пластик нейросетевых генераций.

Итог

Работа заняла три свободных дня с утра до вечера. Потрачено от 1000 до 1500 кредитов в Higgsfield плюс бутылка отличного скотча для человека, который делал звук.

Этот пост Вконтакте:

Ещё новости:

Появился словарь слов, которых ещё нет, но они скоро понадобятся.
Превращаем обычное фото в выразительный арт-постер с помощью нейросети.
Старый ноутбук MSI стал настенным сервером умного дома благодаря Claude.
Google Meet научился переводить речь на 63 языка в реальном времени.
В США компания Tau Robotics запустила подписку на домашних роботов-уборщиков!
Роботы с ИИ протыкают рыбам мозг ради вкуса: странный стартап Shinkei поддержал Питер Тиль.
Хоакин Феникс снялся в тизере умных очков Gentle Monster с Gemini от Google.
ИИ может выдавать разные результаты даже при одинаковом обучении: учёные нашли причину.
OpenAI добавила поддержку исходящих телефонных звонков в GPT-Live API.
Pydantic AI: как исключения ModelRetry и ToolFailed управляют поведением модели.