Tencent выпустила 1- и 4-битные кванты Hy3: модель запускается на одном GPU!
Tencent сообщила о выпуске 1- и 4-битных квантов для модели Hy3, которую теперь можно запустить на одном графическом процессоре. Веса доступны на Hugging Face.
Речь пока не идёт о потребительских видеокартах, для моделей такого уровня это пока недостижимо. Тем не менее одна H20 с 96 ГБ памяти справляется с контекстом в 65536 токенов, а оценки на бенчмарках почти не проседают.
С практической точки зрения это означает более широкую доступность Hy3 у провайдеров, снижение цен и ускоренный инференс. Пока это только теория, но релиз в любом случае полезен.
Ещё новости:
