Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Наши адреса Вконтакте

Будущее уже здесь!

Новости про SGLang

image
SGLang [Нейросеть/модель]

SGLang — open-source движок для инференса LLM и VLM от лаборатории LMSYS (UC Berkeley). Его главная особенность — технология RadixAttention, которая переиспользует вычисленные префиксы, ускоряя обработку многошаговых запросов. Движок поддерживает непрерывный пакетный процессинг, структурированный вывод JSON/XML, различные форматы квантования и параллелизм. SGLang используется xAI для сервиса Grok и Microsoft Azure.

Нейроновости Релизы
Tencent Hunyuan представили UniRL: единая инфраструктура для RL-посттрейнинга любых моделей.
  • Команда Tencent Hunyuan представила UniRL. Это инфраструктура, которая позволяет проводить обучение с подкреплением для разных семейств мультимодальных моделей в рамках одного универсального цикла. Среди поддерживаемых архитектур — LLM, VLM, диффузионные генераторы и модели вроде Hunyuan-Image 3. В основе нового подхода лежат алгоритмы Flow-DPPO и DRPO, а в качестве движков для развертывания заявлены SGLang и vLLM-Omni.
Нейроновости Релизы
Модель MOSS-TTS-v1.5 от OpenMOSS-Team заняла первое место на Hugging Face.
  • Модель для синтеза речи MOSS-TTS-v1.5, созданная командой OpenMOSS-Team, стремительно набирает популярность. Новинка вырвалась в лидеры чарта Hugging Face и уже получила тысячи загрузок благодаря умению стабильно клонировать голос и работать с несколькими языками. Официальная поддержка в vLLM-Omni и SGLang-Omni открывает ей путь к серьёзным голосовым проектам.
Нейроновости Релизы
OSCAR: открытая система двухбитного сжатия KV-кэша от Together AI.
  • Together AI выпустила OSCAR — открытый метод сжатия KV-кэша до двух бит. Он позволяет значительно ускорить инференс больших языковых моделей, таких как Qwen3 и GLM-4.7, при минимальном падении точности. Решение совместимо с SGLang и проверено на NVIDIA H100.
Нейроновости Релизы
Qwen 3.5 Medium: веса моделей в формате FP8 открыты для продакшена.
  • Команда Qwen сделала важный шаг для разработчиков, опубликовав веса моделей Qwen 3.5 Medium в формате FP8. Эти версии, готовые к продакшену и поддерживаемые такими фреймворками, как vLLM и SGLang, обещают более быстрый инференс и меньшее потребление памяти. Загрузить их можно на Hugging Face и ModelScope.
Нейроновости Релизы
Liquid AI представила крупную и энергоэффективную модель LFM2-24B-A2B.
  • Liquid AI продолжает удивлять! Их новая модель LFM2-24B-A2B, построенная на архитектуре LFM2 с подходом Mixture of Experts, ставит рекорды по эффективности. Она специально создана для запуска на обычных ноутбуках с 32 ГБ памяти, поддерживается в llama.cpp, vLLM и SGLang, а результаты её тестов на GPQA Diamond и MMLU-Pro впечатляют. Модель уже доступна на Hugging Face.
Новости по категориям
Популярные теги
Популярные нейросети
Claude ChatGpt Gemini DeepSeek Codex Qwen Claude Opus Nano Banana Grok Seedance
Смотреть все
Компании на рынке ИИ
Anthropic OpenAI Google Яндекс Microsoft NVIDIA Meta [запрещена в России] Apple Сбер Hugging Face
Смотреть все
Политика обработки персональных данных

Nnets.ru | Нейросети

Политика использования открытых источников