Tencent выложила веса мультимодальной модели Youtu-LLM-A7B-Base.
Tencent открыла доступ к весам мультимодальной модели Youtu-LLM-A7B-Base, которая понимает текст и изображения. Это MoE-архитектура с 7 млрд активных параметров из 120 млрд и контекстом 262 тыс. токенов.
Разработчики сравнивают модель с базовой DeepSeek-V4-Pro-Base, у которой 49 млрд активных параметров из 1,6 трлн. Youtu-LLM-A7B-Base впереди на тестах MMLU-Pro, GPQA, четырёх тестах по коду и двух из трёх тестов по длинному контексту. Модель уступает на многоязычных тестах и части задач на знания и рассуждение, включая GSM8K. В задачах на зрение модель сильнее MiMo-V2.5-Base в большинстве тестов, особенно в поиске объектов на изображениях.
Это базовый чекпойнт под дообучение. Авторы советуют подавать ему сырое продолжение текста. Веса занимают около 237 ГБ. Запуск возможен через transformers 5.12.1 с trust_remote_code или через SGLang 0.5.17 с адаптером из репозитория. Для восьми GPU разработчики приводят готовую раскладку. Лицензия собственная: модель не предназначена для использования в Евросоюзе.
Ещё новости:
