Слова превращаются в 3D-звук: AMBIT собирает звуковую сцену по описанию.
Проект AMBIT позволяет описать звуковую сцену словами и получить 3D-звук в наушниках: кто звучит, откуда, когда входит и куда движется.
Решение подойдёт для VR, игр и иммерсивного аудио. Сцену с движущимися звуками можно собрать текстовым описанием, а не ручной настройкой в редакторе.
Что умеет AMBIT
- читает обычный текст и строит ScenePlan: источники, время, азимут, дистанция, траектория;
- собирает многоисточниковые сцены, звуки двигаются вокруг слушателя;
- правит по команде: «перенеси голос вперёд», «убери шаги», «останови гитару», а остальное не трогает;
- генерация и редактирование на одном Transfusion-бэкбоне;
- формат First-Order Ambisonics, 44,1 кГц, 4 канала, референс для правки до ~15 секунд.
AMBIT построен на stable-audio-tools от Stability AI. Мы ожидаем публикации чекпоинтов.
Код доступен на github.com/WJM-George/AMBIT.
Ещё новости:
