方案 A:Ollama 快速部署(10 分钟内跑通)
适合评估验证阶段,一条命令即可拉起:
# 安装 Ollama(Linux)
curl -fsSL https://ollama.com/install.sh | sh
# 拉取模型(按硬件选,14B 需要约 12GB 显存/内存)
ollama pull deepseek-r1:14b
# 启动对话
ollama run deepseek-r1:14b
# 启动 OpenAI 兼容 API(默认 11434 端口)
ollama serve验证:另开终端执行 curl 请求,返回 JSON 即成功。
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"deepseek-r1:14b","messages":[{"role":"user","content":"你好"}]}'方案 B:vLLM 生产级部署(高并发推荐)
Ollama 适合低并发;生产环境推荐 vLLM,吞吐更高:
# 安装 vLLM(需 NVIDIA GPU + CUDA)
pip install vllm
# 启动服务(指定模型与最大上下文)
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--port 8000# 测试
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-14B",
"messages":[{"role":"user","content":"请总结这段话"}]}'Step:量化降显存(显存不足时)
14B 模型 FP16 约需 28GB 显存,量化到 INT4 可降到约 9GB,精度损失通常可接受:
# 用 llama.cpp 做 GGUF 量化
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
make -j
python3 convert_hf_to_gguf.py ~/models/deepseek-r1-14b --outfile deepseek-14b.gguf
./llama-quantize deepseek-14b.gguf deepseek-14b-q4_k_m.gguf Q4_K_M
# 用量化模型启动 Ollama
ollama create deepseek-14b-q4 -f Modelfile # Modelfile: FROM ./deepseek-14b-q4_k_m.gguf硬件参考与安全加固
硬件参考(非承诺,视具体机型):7B 量化后可单卡 24GB 运行;14B 建议 48GB 以上;32B-70B 建议 80GB 级多卡。具体以实测为准。
# 安全加固(必做)
# 1. 仅监听内网
vllm serve ... --host 0.0.0.0 # 配合防火墙仅放行内网段
# 2. API 鉴权:配置 API Key 或网关鉴权
# 3. 审计日志:记录每次请求
# 4. 输入/输出敏感词过滤模型权重下载请以官方渠道为准;量化格式与工具版本更新较快,命令以对应版本文档为准。