Инженер создал утилиту для текстового поиска сцен в архивах видео: как это работает.
Разработчик создал утилиту для текстового поиска сцен в видеоархивах.
Инженер Ильяс Хаддад, у которого накопился архив из 2207 GoPro-видео с велопутешествий по Марокко, разработал утилиту Edit Mind. Это локальный инструмент, который с помощью машинного обучения индексирует каждый кадр и позволяет искать нужные сцены обычным человеческим языком.
Программа берет папку с видео и прогоняет ее через несколько этапов. Сначала модель Whisper транскрибирует всю речь. Затем подключается визуальный анализатор: он смотрит видео с частотой 1 кадр в секунду, распознавая лица, объекты, текст и генерируя подробное текстовое описание того, что происходит на экране. Все эти данные превращаются в векторы и складываются в локальную базу. После этого пользователь может написать в поиске что-то вроде
кадр, где я еду по мосту на закате
Расплачиваться за такую автоматизацию приходится машинным временем. Тестовый прогон 628 роликов (669 ГБ, более 15 часов) на MacBook с чипом M1 Max занял 68 часов непрерывной работы. Автор честно признает, что стационарный ПК с видеокартой уровня Nvidia RTX 3060 справился бы с этой задачей значительно быстрее. Тем не менее, это фоновый процесс, который экономит дни ручного труда.
Базовый код проекта уже выложен в открытый доступ на GitHub, а для тех, кто не хочет возиться с консолью, готовится платное десктопное приложение.
Ещё новости:
