SenseNova представила Loop-9B-Preview: 9 млрд параметров вместо 27 млрд.
Команда SenseNova представила открытую модель SenseNova Loop-9B-Preview. Она работает на архитектуре Looped Transformer: одни и те же блоки с общими весами используются несколько раз. Это позволяет увеличивать глубину вычислений без пропорционального роста числа параметров.
Для улучшения передачи информации между блоками применяется mHC (Manifold-Constrained Hyper-Connections).
По данным разработчиков:
- модель обходит Qwen3.5-27B на WorkBuddy Bench, RaccoonPPT Bench и AutomationBench;
- добавление mHC повышает результат на 4,42 пункта в GPQA Diamond и на 13,34 пункта в TeamBench;
- среди демонстраций: программирование, офисные задачи и создание интерактивных HTML-страниц с анимацией.
Повторные проходы требуют дополнительных вычислений, поэтому 9B здесь не означают трёхкратную экономию относительно 27B. Результаты отдельных тестов не доказывают превосходство во всех задачах.
Команда объявила об открытом релизе. В планах: масштабировать архитектуру и научить модель выбирать, когда отвечать быстро, а когда тратить больше вычислений на рассуждение.
Полезные ссылки
Ещё новости:
