inclusionAI открыла две версии Ling: обновлённая модель для агентов и базовые веса для дообучения.
Компания inclusionAI открыла две версии Ling: обновлённую модель для агентов и базовые веса для дообучения. Обе версии распространяются под лицензией MIT.
Модель Ling-3.1-flash-1019 получила улучшения рассуждений и многошаговой работы с инструментами.
Характеристики
- 560 млрд параметров, 25 млрд активных на токен
- контекст 1 млн токенов
- гибридная MoE-архитектура сочетает линейное внимание KDA и Gated MLA
По данным команды, относительно предыдущей версии:
- AutomationBench-AA: с 62% до 68%
- CritPt: с 18% до 26%
- SciCode: с 54% до 57%
- Artificial Analysis Intelligence Index: с 41 до 44
Ling-3.1-flash-base: базовый чекпойнт той же архитектуры для продолжения предобучения, адаптации под предметную область, SFT, обучения с подкреплением и исследований дистилляции.
Базовая версия опубликована в BF16, хотя обучение проводилось в FP8. Для непосредственного использования в качестве чат-ассистента она не предназначена.
Для запуска обновлённой модели доступны инструкции под SGLang и vLLM.
Обновлённая модель: https://huggingface.co/inclusionAI/Ling-3.1-flash-1019
Базовые веса: https://huggingface.co/inclusionAI/Ling-3.1-flash-base
Ещё новости:
