Стартап Миры Мурати выпустил опенсорс-модель Inkling на 975 млрд параметров с мультимодальностью.
Компания Thinking Machines, основанная бывшим техническим директором OpenAI Мирой Мурати, представила свою первую модель Inkling и сразу выложила её в открытый доступ. Это большая языковая модель, обученная с нуля, с архитектурой Mixture of Experts (MoE). Общее количество параметров достигает 975 миллиардов, из которых 41 миллиард активных.
Inkling поддерживает мультимодальный режим, то есть умеет работать не только с текстом, но и с аудио и изображениями. Результаты на соответствующих бенчмарках выглядят достойно. Неплохо модель справляется и с задачами на рассуждение (reasoning). По общим способностям Inkling сравнима с моделью GLM-5.2, но немного уступает в задачах на программирование.
Подробнее о модели можно узнать в официальном блоге Thinking Machines.
Ещё новости:
