Tencent представила Hy4-preview: open-source модель на 770B параметров с контекстом до 1 млн токенов.
Мы обратили внимание на свежий open-source релиз: компания Tencent представила модель Hy4-preview на 770B параметров.
Архитектура MoE
- 770B параметров всего
- 49B активны на токен
- контекст до 1 млн токенов
- упор на coding, agentic-задачи и продуктивность
Модель использует Gated DeepSeek Sparse Attention и IndexCache, чтобы удешевить длинный контекст и переиспользовать sparse-индексы между слоями.
Tencent позиционирует Hy4-preview как модель frontier-уровня с открытым исходным кодом и доступной стоимостью запуска.
Лицензия: Apache 2.0.
Ссылки
Ещё новости:
