Recursive Superintelligence выпустила Flint: новую MoE-модель для кодинг-агентов.
Стартап Recursive Superintelligence, основанный Ричардом Сочером и вышедший из тени в мае с 650 млн долларов инвестиций, показал свою первую модель Flint.
Такие инвестиции Recursive получила ещё до первой модели во многом из-за состава основателей. Ричард Сочер был главным научным сотрудником Salesforce и в своё время запустил поисковик You.com, оттуда же пришёл Цаймин Сюн, возглавлявший исследования ИИ.
Алексей Досовицкий из Google является автором Vision Transformer, Юаньдун Тянь занимался исследованиями в FAIR у Цукерберга, Тим Роктэшель пришёл из DeepMind и остаётся профессором Университетского колледжа Лондона, Джефф Клун стоит за работой о машине Дарвина-Гёделя про самоулучшающийся код. Ещё двое, Джош Тобин и Тим Ши, работали в OpenAI, а Ши вдобавок сооснователь Cresta.
Модель рассчитана на агентов, которые разбирают чужой код, чинят ошибки, добавляют функции и пишут тесты. Команда собрала её с нуля меньше чем за четыре месяца.
Архитектура
Flint построена на MoE: 39,8 млрд общих параметров, на каждый токен работают 2,5 млрд. Окно контекста: 262 тысячи токенов.
В каждом слое 256 экспертов, из которых выбираются шесть, плюс один работает всегда.
Большая часть слоёв внимания смотрит не на весь контекст, а на скользящее окно, что экономит вычисления. Под Apple Silicon и NVIDIA RTX Spark стартап написал свои вычислительные ядра.
Тесты
На SWE-bench Verified модель набрала 74,2%, на Terminal-Bench 2.1: 54,9%.
Recursive Superintelligence называет Flint лучшей моделью со смесью экспертов среди тех, что меньше 50 млрд параметров, и утверждает, что она догоняет плотные модели на 25-40 млрд, работая впятеро быстрее.
На коротком контексте Flint выдаёт больше 125 токенов в секунду на MacBook с M4 Pro и больше 150 на NVIDIA RTX Spark с 64 ГБ памяти.
Flint работает в llama.cpp, Ollama, LM Studio, vLLM и SGLang, а для ноутбуков на M4 Pro и M5 Pro или Max есть собственный движок rec.
Лицензирование: Apache 2.0
Полезные ссылки
Ещё новости:
