Германия представила открытую ИИ-модель Soofi S, обогнавшую OLMo 3 32B и Apertus 70B.
Германия выпустила модель Soofi S. Согласно отчёту консорциума, она обошла OLMo 3 32B и Apertus 70B, став лучшей среди полностью открытых моделей на английских и немецких бенчмарках. Обучение прошло целиком в Европе, на 512 ускорителях Nvidia B200 в мюнхенском облаке Deutsche Telekom. За проектом стоит консорциум институтов Fraunhofer, DFKI, немецких университетов и ИИ-компаний.
Гибридная архитектура и скорость
Внутри используется Mixture of Experts (MoE) на 31,6 млрд параметров, из которых на токен работают только 3,2 млрд. Архитектуру взяли у Nemotron 3 Nano: гибрид Mamba-2 и обычного attention, при этом KV-кеш держат лишь 6 слоёв из 52. Поэтому на длинном контексте скорость почти не падает: от 4K до 256K токенов генерация остаётся стабильной, а на 40K модель выдаёт примерно в 8 раз больше токенов в секунду на GPU, чем плотные модели на 14–24 млрд параметров. В процессе обучения использовано 27 трлн токенов с повышенной долей немецкого языка.
Результаты тестов
Модель набирает 73,8% на тесте HumanEval, что является лучшим результатом среди открытых аналогов. Слабые места также задокументированы: к ним относятся конкурсная математика и извлечение фактов из длинного контекста.
Ещё новости:
