Mistral выпускает Medium 3.5: 128B модель, заточенная под локальный запуск.
Mistral представила новую мультимодальную dense-модель Mistral Medium 3.5.
Ключевые характеристики:
- 128 миллиардов параметров
- Контекстное окно размером 256 тысяч токенов
- Открытая лицензия (требуется покупка для компаний с выручкой более $20 млн в месяц)
Модель превосходит предыдущие разработки Mistral, но пока не дотягивает до показателей самых больших опенсорсных решений. Однако она является единственной в своей весовой категории: все конкуренты в разы больше, что делает её отличным вариантом для локального развертывания. Чтобы избежать совсем уж низкой скорости работы, разработчики также выложили отдельную голову для спекулятивного декодинга.
Использовать Mistral Medium 3.5 через официальное API не очень выгодно при цене в $1.5 за миллион входных токенов и $7.5 за миллион выходных, поэтому разработчики рекомендуют обратить внимание именно на локальный инференс.
Ещё новости:
