Разработчики GigaChat 3.5 Ultra раскрыли архитектуру и открыли код модели на 432 млрд параметров.
Разработчики GigaChat 3.5 Ultra открыли исходный код модели на 432 млрд параметров, которую полностью обучили в FP8 и прогнали через новый этап online RL после классических SFT и DPO. Модель заметно прокачали в коде, математике и агентных сценариях, а скорость генерации увеличилась до 2,2 раза за счет двух MTP-голов. Пропускная способность под нагрузкой также выросла на 20%.
По бенчам модель находится на уровне DeepSeek V3.2, будучи в полтора раза меньше. Полный разбор всей архитектурной обвязки и рецепты стабилизации лежат в статье. Ссылки на модель под MIT-лицензией уже доступны на HuggingFace и GitVerse.
Ещё новости:
