Zyphra представила ZAYA1-8B: крошечная MoE-модель бросает вызов гигантам.
Zyphra выкатила ZAYA1-8B — маленькую MoE-модель, которая выглядит слишком бодро для своего размера.
У модели меньше 1 млрд активных параметров, но Zyphra заявляет, что она конкурирует с куда более крупными open-weight и proprietary-моделями на математике, кодинге и reasoning-бенчмарках.
ZAYA1-8B — это ставка на весь стек сразу:
- MoE-архитектура с Compressed Convolutional Attention;
- новый MLP-router для более стабильного выбора экспертов;
- learned residual scaling для контроля роста residual-норм;
- pretraining на AMD Instinct MI300x, без NVIDIA-стека;
- большой post-training pipeline с SFT, reasoning warmup, RLVE-Gym, math/code RL и RLHF/RLAIF;
- test-time compute метод Markovian RSA.
Markovian RSA — самая любопытная часть. Модель генерирует несколько reasoning-трасс параллельно, затем рекурсивно агрегирует их и продолжает рассуждение кусками, не раздувая контекст бесконечно. По заявлению Zyphra, именно это резко бустит сложные математические задачи.
На HMMT'25 они показывают 89.6 против 88.3 у Claude 4.5 Sonnet и GPT-5-High. А при extra-high test-time compute говорят, что ZAYA1-8B обходит DeepSeek-V3.2 и GPT-OSS-120B High на APEX-shortlist.
Модель полностью обучали на AMD-инфраструктуре. Для рынка это почти политическое заявление — serious AI training больше не обязан выглядеть как «NVIDIA or nothing».
ZAYA1-8B доступна в Zyphra Cloud, веса выложены на Hugging Face, лицензия Apache-2.0.
https://www.zyphra.com/post/zaya1-8bЕщё новости:
