580 токенов в секунду на Qwen3.5: новый рекорд для агентских задач.
PyTorch Foundation опубликовали разбор оптимизации Qwen3.5 в движке инференса TokenSpeed.
Цифра скорости света — 580 tps на агентских ворклоадах. Под капотом: дизайн, реализация и тюнинг моделей в TokenSpeed, плюс FlashAttention-4 от Tri Dao.
Над релизом работали инференс-команда Alibaba Qwen, TokenSpeed от Lightseek Foundation, NVIDIA и Mooncake.
Кому интересно, как именно выжали такую пропускную способность — блог по ссылке.
Ещё новости:
