Baidu открыла ERNIE 5.5 Flash: 280 млрд параметров, но активны только 14 млрд.
Baidu Research выпустила новую открытую MoE-модель ERNIE 5.5 Flash Base, которая, по заявлению разработчиков, достигает результатов ведущих моделей сопоставимого размера. В модели 280 млрд параметров, из которых при генерации каждого токена используются лишь 14 млрд (5%), что позволяет снизить вычислительные затраты.
Инженеры Baidu представили несколько решений.
- Latent-Gated Sparse Attention распределяет память KV-cache так, чтобы сохранить способность модели находить информацию в длинном контексте без чрезмерного расхода памяти.
- Multi-Router Latent MoE использует несколько маршрутизаторов для выбора экспертов. Это помогает точнее определять, какие части модели нужны для конкретного токена, без дополнительных вычислительных затрат.
- ECHO объединяет предсказание нескольких токенов с основным слоем модели. Этот же механизм можно использовать для speculative decoding, ускоряя генерацию.
Для обучения разработали распределённый оптимизатор Muon и оптимизированное ядро внимания FlashMask-4.
Сейчас доступны веса базовой модели. Полная версия ERNIE 5.5 Flash ожидается позже.
Модель
https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
Технический разбор
Ещё новости:
