Мира Мурати представила Inkling-Small: открытая MoE-модель на 12 млрд активных параметров обходит старшую версию.
Компания Thinking Machines Lab, основанная Мирой Мурати, выпустила Inkling-Small — открытую модель со смесью экспертов (MoE) на 276 млрд параметров, которая активирует всего 12 млрд параметров на токен. И эта «младшая» версия сумела обойти Inkling с 41 млрд активных параметров.
- Terminal-Bench 2.1: 64,7% против 63,8%;
- HLE: 31,6% против 29,7%;
- SWE-Bench Verified: 80,2% против 77,6%.
Такого результата добились с помощью on-policy-дистилляции от старшей модели и ещё двух недель RL на агентном программировании.
Inkling-Small поддерживает изображения и аудио, контекст до 1 млн токенов и регулируемую глубину рассуждений. Веса опубликованы полностью.
Мы видим, что у разработчиков мультимодальных агентов появился крайне эффективный открытый фундамент. Подробнее: thinkingmachines.ai/news/inkling-small/
Ещё новости:
