YuE2: новый открытый генератор музыки с редактируемым планом и agentic editing.
Мы изучили новый открытый генератор музыки YuE2. Модель можно запускать локально, а авторы целятся в уровень Suno 5.
Главная особенность YuE2 в том, что процесс создания трека стал управляемым. Сначала модель строит редактируемый музыкальный план: мелодию и аккорды. Затем она превращает этот план в полноценную песню с вокалом и инструментами.
Можно сохранить мелодию, поменять гармонию, переработать стиль, добавить соло или передать собственную партитуру в ABC notation.
В YuE2 появились zero-shot covers: модель транскрибирует существующую композицию и собирает из неё новую аранжировку. Есть и agentic editing. Достаточно указать:
оставь вокальную мелодию, сделай джазовую гармонию и добавь саксофон
Агент правит score, lyrics и prompt, а YuE2 рендерит новую версию.
Для запуска достаточно RTX 4090. Модель превосходит Mureka 9 и Minimax 3. Всё это можно запускать локально. Авторы демонстрируют очень быстрый инференс на современных NVIDIA GPU. Выходной сигнал: 48 kHz stereo.
Лицензия оставляет желать лучшего.
Полезные ссылки:
Ещё новости:
