欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

DeepSeek 私有化部署完整指南:从下载到推理加速

上邦 AI 工程团队2026-08-05阅读 12 分钟
以 DeepSeek-R1 蒸馏系列为例,给出从模型下载、量化、推理框架部署到接口测试的完整步骤,附真实可运行的命令。覆盖 7B-70B 不同规模的部署路径。

方案 A:Ollama 快速部署(10 分钟内跑通)

适合评估验证阶段,一条命令即可拉起:
# 安装 Ollama(Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 拉取模型(按硬件选,14B 需要约 12GB 显存/内存)
ollama pull deepseek-r1:14b

# 启动对话
ollama run deepseek-r1:14b

# 启动 OpenAI 兼容 API(默认 11434 端口)
ollama serve
验证:另开终端执行 curl 请求,返回 JSON 即成功。
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"deepseek-r1:14b","messages":[{"role":"user","content":"你好"}]}'

方案 B:vLLM 生产级部署(高并发推荐)

Ollama 适合低并发;生产环境推荐 vLLM,吞吐更高:
# 安装 vLLM(需 NVIDIA GPU + CUDA)
pip install vllm

# 启动服务(指定模型与最大上下文)
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9 \
  --port 8000
# 测试
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-14B",
       "messages":[{"role":"user","content":"请总结这段话"}]}'

Step:量化降显存(显存不足时)

14B 模型 FP16 约需 28GB 显存,量化到 INT4 可降到约 9GB,精度损失通常可接受:
# 用 llama.cpp 做 GGUF 量化
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
make -j
python3 convert_hf_to_gguf.py ~/models/deepseek-r1-14b --outfile deepseek-14b.gguf
./llama-quantize deepseek-14b.gguf deepseek-14b-q4_k_m.gguf Q4_K_M

# 用量化模型启动 Ollama
ollama create deepseek-14b-q4 -f Modelfile  # Modelfile: FROM ./deepseek-14b-q4_k_m.gguf

硬件参考与安全加固

硬件参考(非承诺,视具体机型):7B 量化后可单卡 24GB 运行;14B 建议 48GB 以上;32B-70B 建议 80GB 级多卡。具体以实测为准。
# 安全加固(必做)
# 1. 仅监听内网
vllm serve ... --host 0.0.0.0  # 配合防火墙仅放行内网段
# 2. API 鉴权:配置 API Key 或网关鉴权
# 3. 审计日志:记录每次请求
# 4. 输入/输出敏感词过滤
模型权重下载请以官方渠道为准;量化格式与工具版本更新较快,命令以对应版本文档为准。
相关标签:DeepSeekvLLM私有化部署Ollama

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案