Thinking Machines представила Inkling 2 Small: мультимодальная MoE-модель на 594 млрд параметров.
Исследовательская лаборатория Thinking Machines, возглавляемая Мирой Мурати, представила мультимодальную модель второго поколения Inkling 2 Small. Новинка поддерживает визуальный вход, управляемую глубину рассуждений и контекст до 1 млн токенов.
В основе Inkling 2 Small лежит разреженная архитектура Mixture-of-Experts: 48 декодерных слоев, маршрутизация 8 из 384 экспертов на токен. Общий объем модели составляет 594 млрд параметров, но при генерации активируются лишь 17 млрд. Это делает модель достаточно легкой для практического использования.
По задумке разработчиков, модель рассчитана на многошаговые агентные сценарии: она умеет визуально проверять собственные результаты, адаптироваться к различным агентным оболочкам (harnesses) и самостоятельно управлять пайплайнами своего дообучения.
В бенчмарке Artificial Analysis Intelligence Index Inkling 2 Small набирает 31 балл. В рейтинге фронтенд-разработки и интерфейсов DesignArena модель занимает третье место в мире, уступая только тяжелым проприетарным флагманам.
Сейчас Inkling 2 Small доступна для инференса и файнтюнинга на платформе Tinker. А уже на следующей неделе разработчики обещают открыть полные веса модели под лицензией Apache 2.0.
Подробнее о новинке можно узнать в официальном анонсе Thinking Machines.
Ещё новости:
