POCKET-35B-GGUF: модель на 35 млрд параметров запускается на смартфонах без GPU!
Сообщество разработчиков представило компактную языковую модель POCKET-35B-GGUF. Она насчитывает 35 миллиардов параметров и способна работать прямо на смартфоне, не требуя дискретного графического процессора.
Модель построена на базе Darwin-36B-Opus и поддерживает два языка: английский и корейский. Благодаря совместимости с Ollama и LM Studio её легко встроить в популярные инструменты для локального запуска.
Ключевые особенности
- Запуск без GPU — вычисления возможны на мобильном процессоре.
- Размер файлов варьируется от 8,2 до 21 гигабайта в зависимости от выбранной квантизации.
- Полная интеграция с экосистемами Ollama и LM Studio.
Попробовать модель вживую можно в интерактивном демо-пространстве: Демо POCKET-35B-CPU. Сами веса и всю коллекцию компактных версий ищите на Hugging Face: POCKET-35B-GGUF и Коллекция Pocket Models.
Ещё новости:
