Ming-3.0-audio: понимание аудио напрямую, без промежуточного текста.
Модель Ming-3.0-audio понимает аудио напрямую, без промежуточного текста. На выходе она может выдавать текст или голос.
Версии и возможности
- Две версии: flash на 126 млрд с 6,5 активными и tiny на 9,3 млрд с 2,7 активными.
- Распознавание речи в шуме, с диалектами и акцентами, для нескольких говорящих.
- Ответы на вопросы по содержимому аудио, рассуждения над звуком.
- Понимание длинных записей, речи, шумов, музыки и обстановки.
- Голосовой ответ с клонированием по референсу.
Технические детали
- Основные языки: китайский и английский.
- tiny живет на одной видеокарте.
- У flash контекст на 128 тысяч токенов, нужны восемь H800.
- Лицензия MIT.
Модель поднимается через vLLM-Omni и SGLang, доступны OpenAI-совместимые эндпоинты.
Ссылки
Ещё новости:
