Mistral Large 4: триллион параметров, 52 млрд активных и контекст 1 млн токенов.
Mistral опубликовала технический отчёт по модели Mistral Large 4. Собрали главное.
Модель содержит около 1 трлн параметров, но на каждый токен активирует только 52 млрд. Для этого используется MoE с 128 экспертами: из них выбираются четыре, плюс один общий.
В отчёте подробно разобраны Multi-head Latent Attention, Sparse Attention и переиспользование KV-кеша между слоями. Эти решения помогают сократить расход памяти и вычислений при работе с длинным контекстом.
Контекстное окно составляет 1 млн токенов. Mistral Large 4 поддерживает изображения, более 160 языков, вызов инструментов и агентные сценарии.
На Artificial Analysis Coding Agent Index модель набрала 48%, примерно на уровне GLM-5.3. При этом, по данным Mistral, она использовала на 47% меньше токенов.
Веса доступны на Hugging Face в форматах FP8 и NVFP4. На обычной видеокарте такую модель не запустить, зато в отчёте достаточно технических подробностей для тех, кто занимается архитектурой и оптимизацией LLM.
Ещё новости:
