Полный гайд по локальному запуску DeepSeek на русском: от домашнего ПК до сервера с 8 GPU.
В открытом доступе появился репозиторий с руководством из 18 частей о локальном запуске DeepSeek V4, R1 и дистиллятов без облака и интернета. Всё работает бесплатно, приватно и офлайн.
Внутри описан полный путь: выбор модели и расчёт железа, установка и настройка Ollama, llama.cpp, LM Studio, Open WebUI, vLLM и SGLang, работа через API и Python, подключение к IDE. Дальше идут промптинг, ускорение, RAG, агенты и fine-tuning, а в конце топ-30 приёмов, разбор ошибок, FAQ и готовые конфиги.
Домашний ПК
Для домашнего ПК основной вариант это R1-дистилляты от 1.5B до 70B. Запуск одной командой:
ollama run deepseek-r1:8b
По таблицам гайда в кванте Q4 модель на 8B занимает 5-6 ГБ памяти, на 14B около 9-10 ГБ, на 32B около 20 ГБ, на 70B около 43 ГБ.
Серверное железо
Старшие модели уже относятся к серверному железу. DeepSeek-V4-Flash на 284B параметров, из них 13B активных, с контекстом 1M требует около 103 ГБ в 3-битном кванте. DeepSeek-V4-Pro на 1.6T параметров с 49B активными нужны 800 ГБ и больше, то есть сервер с 8 GPU.
Практические советы
- Для русского языка рекомендуем брать модели от 14B, на меньших дистиллятах качество заметно проседает.
- Квант Q4_K_M считается стандартным выбором, а большая модель в низком кванте обычно лучше маленькой в высоком.
- Температура около 0.6 для R1 и 1.0 для V4.
- Проверяйте через
ollama ps, что модель целиком на GPU. - Не открывайте порт Ollama 11434 в интернет: у API нет пароля.
Репозиторий: https://github.com/justxor/deepseek-local-guide-ru
Ещё новости:
