VoxMel: генерация речи без токенизатора через вейвлет-преобразование Хаара и flow-matching.
Мы изучили новую систему синтеза речи VoxMel. Она работает без токенизатора и напрямую строит мел-спектрограмму через точно обратимое двухосевое вейвлет-преобразование Хаара. Языковой бэкбон с головой flow-matching генерирует грубую мел-карту авторегрессивно.
- Два неавторегрессивных уровня добавляют детали по времени и частоте, не перегружая историю генерации.
- Поддерживаются английский и китайский языки, а также клонирование голоса по короткой референсной записи и её транскрипту.
- Грубая структура и детали считаются раздельно, поэтому длинная генерация не накапливает ошибок.
- Инверсия точна по математике, но не гарантирует безошибочный звук или декодер.
- Постобучение с GRPO подняло все четыре метрики Seed-TTS.
- Отдельный вокодер Vocos превращает восстановленную спектрограмму в речь.
Доступны версии 0.3B и 0.6B. Русского языка пока нет.
Демо: VoxMel. Веса: hf.co/VoxDance-Lab/VoxMel-0.6B. Код: github.com/VoxDance-Lab/VoxMel.
Ещё новости:
