欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

单卡 24GB 能服务多少人:私有知识库的显存与并发预算

上邦 AI 工程团队2026-10-27阅读 约 9 分钟
一张 24GB 的卡能服务多少人?答案不在参数量,而在 KV 缓存的除法。本文用 Qwen2.5-7B 与 bge-m3 的真实结构参数,算出每 token 约 56KB、一条 8K 序列要 448MB,再反推单卡、双机、48GB 三种配置各自能撑住的有效并发;正文附 vLLM 四个关键参数的取值依据、首字延迟压测脚本、入库窗口的吞吐估算,以及显存不够时按什么顺序降级。
结论先说:一张 24GB 的卡能服务 80 到 150 人的知识库,但成立条件很窄——同时提问的人不超过 10 个、单次带进模型的资料压在 8K token 以内、嵌入与重排模型不跟大模型抢同一张卡。做法是把显存按权重、KV 缓存、系统余量三笔分开算,再用压测确认有效并发,不要按参数量拍脑袋。人力上一名懂 Linux 的运维加半天压测就够,从采购到上线大约一周。最容易踩的坑有两个:一是把 max-model-len 按模型最大上下文填满,KV 池被虚占,并发掉一半;二是把嵌入模型也塞进同一张卡,交接班查询高峰把大模型挤到显存不足而排队。
下面这套算法在制造业图纸与工艺文件问答上验证过,也适用于制度、报价、SOP 这类以文本为主的场景。所有数字都可以复算,前提是先弄清自己模型的结构参数。

显存实际被四样东西分掉

采购时最容易出现的错觉是「7B 模型要 7GB 显存」。真实账目里,模型权重只是第一项,后面还有三项常被忽略。
第一笔,模型权重。7.6B 参数的模型做 4bit 量化(AWQ 或 GPTQ),权重文件约 4.4GB,加载后加上量化缩放系数与运行时缓冲,实测占用 5.0 到 5.5GB。fp16 则要 15GB 左右,24GB 卡上基本没有余量做并发。
第二笔,KV 缓存。这是并发能力的唯一来源,长度随上下文线性增长,算法见下一节。
第三笔,嵌入与重排模型。bge-m3 是 568M 参数,fp16 约 1.14GB;重排模型(如 bge-reranker-v2-m3)同一量级,再加 1.1GB 左右。
第四笔,系统余量。CUDA 上下文、显存碎片、日志与监控进程,合计预留 8% 到 15%。vLLM 的 gpu-memory-utilization 默认 0.9,就是替这一项留了 10%。

一条序列的 KV 缓存怎么算

公式一句话:每 token 字节数等于 2 乘层数乘 KV 头数乘头维度乘精度字节数,前面的 2 是 K 和 V 各存一份。
以 Qwen2.5-7B 为例,28 层、4 个 KV 头、头维度 128、fp16 两字节,代入得 2 乘 28 乘 4 乘 128 乘 2 等于 57344 字节,约 56KB 一个 token。乘 8192 个 token,一条满长序列要 448MB。
24GB 卡,权重占 5.2GB,系统余量按 10% 算约 2.4GB,留给 KV 的约 16.4GB。
按 8K 一条算,容量上限约 36 条序列。
如果嵌入与重排同卡,还要再扣 2.3GB,容量降到约 31 条。
容量不等于可用并发:prefill 阶段要一次算完输入,长输入会把 decode 挤住,实际有效并发通常只有容量值的三分之一上下,必须靠压测确认。
这里有个比参数量更关键的参数:num_key_value_heads。同样标称 7B,如果模型用 28 个 KV 头而不是 4 个(即不做 GQA),每 token 的 KV 从 56KB 涨到 392KB,一条 8K 序列要 3.1GB,24GB 卡只够三条并发。选模型时先看这个数,再谈价格。

三种配置怎么选

配置一,单卡 24GB 全托管,嵌入与重排跑 CPU。查询侧只有一条问题文本要嵌入,CPU 单条约 50 到 150 毫秒,体感可以接受;入库侧的批量解析放到夜间。适合 50 到 100 人、日提问 200 次以内的团队。
配置二,单卡 24GB 只跑大模型,嵌入与重排放独立进程在另一台机器。大模型独占整卡,并发余量最大,适合 100 到 200 人。
配置三,48GB 单卡(L20、A6000 一类)三个模型共存。省心,但要先确认机房供电与机箱长度,整机成本会上一档。
不建议的写法:24GB 卡上让大模型、嵌入、重排三个进程都吃 GPU,峰值时显存碎片会把可用上下文压到 4K,问答质量直接掉一档。
如果预算只有一台工作站,优先选配置一,并把「夜间批量入库、白天只做查询」写进流程。制造业的资料更新频率通常是每周几次工艺变更,不需要白天实时入库。私有化部署的整体形态与检索链路,可以参考私有 AI 知识库的说明。

vLLM 的四个启动参数怎么填

参数并不是越多越好,真正影响显存与水位的只有四个,下面这条命令改掉模型路径即可直接用。
vllm serve /models/Qwen2.5-7B-Instruct-AWQ \
  --served-model-name kb-chat \
  --quantization awq \
  --dtype half \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --max-num-seqs 8 \
  --enable-prefix-caching \
  --swap-space 4
gpu-memory-utilization:默认 0.9。同卡还有嵌入进程时降到 0.8 到 0.85,独占时 0.9 到 0.92。这个比例是整个实例的上限,作用是给权重之外的 KV 池划定天花板,不是让模型少占显存。
max-model-len:决定 KV 池能被单条序列撑多大,直接影响可跑并发。业务输入 P95 是 3K 就填 8192,不要填模型的 32K 上限。
max-num-seqs:同时解码的条数。8 是单卡 7B 的稳妥值,调高会让单条变慢,用户感知是「都在等」。
enable-prefix-caching:知识库问答的系统提示与模板前缀固定,开启后重复前缀的 prefill 可以复用,首字延迟通常能省下三成左右。

向量库根本不占显存,别为它买卡

这一点常被误解。1.2 万页图纸与工艺文件,按每页 800 字、每 400 字切一块,约 2.4 万到 3.5 万块。1024 维 float32 每条 4KB,3 万条约 120MB;HNSW 图结构通常再放大一到两倍,整体 200 到 350MB。这个量级放内存绰绰有余,单机进程内索引就够,不需要独立向量数据库集群,更不需要为大模型之外的索引单独买卡。
真正吃 GPU 的只有两件事:大模型推理,以及大批量文档的嵌入计算。前者是常态开销,后者可以调度到夜间。把这两件事在时间上分开,24GB 卡就够用;混在一起,才会出现「白天查得慢、晚上入库卡」的抱怨。文档入库与检索的分层流程,可以对照企业知识库产品的设计说明。

压测测首字延迟,不测 QPS

知识库不是高并发接口,用户的行为是问一句、等几秒、看答案。所以 QPS 对容量判断几乎没有指导意义,真正要看的是首字延迟(TTFT)和完整回答时间。下面这段脚本按并发梯度打,输出每个梯度的 P95。
import asyncio, time, statistics, httpx

URL = 'http://127.0.0.1:8000/v1/chat/completions'
BODY = {
    'model': 'kb-chat',
    'messages': [{'role': 'user', 'content': '这批图纸的焊接工艺以哪版为准?'}],
    'max_tokens': 300,
}

async def one(client, out):
    t0 = time.perf_counter()
    ttft = None
    async with client.stream('POST', URL, json=BODY) as r:
        async for line in r.aiter_lines():
            if line.startswith('data:') and line.strip() != 'data: [DONE]':
                if ttft is None:
                    ttft = time.perf_counter() - t0
    out.append((ttft, time.perf_counter() - t0))

async def main():
    for conc in (1, 2, 4, 8, 12):
        out = []
        async with httpx.AsyncClient(timeout=120) as client:
            await asyncio.gather(*[one(client, out) for _ in range(conc)])
        ttfts = sorted(x[0] for x in out)
        p95 = ttfts[min(len(ttfts) - 1, int(len(ttfts) * 0.95))]
        avg_total = statistics.mean(x[1] for x in out)
        print(f'conc={conc} ttft_p95={p95:.2f}s total_avg={avg_total:.2f}s')

asyncio.run(main())
判断标准很直白:并发 8 时 TTFT 的 P95 还压在 2.5 秒以内,这张卡就够用;到并发 4 就超过 4 秒,说明输入太长或 max-num-seqs 开太大,先调参数再谈换卡。压测必须用真实问题,不要用「你好」这类短句,短句测不出 prefill 的真实压力。

制造场景下的两个特殊取值

第一,上下文长度。图纸与工艺问答需要带 5 到 6 段原文,加上系统提示,输入常在 3K 到 5K token。max-model-len 压到 8K 足够,继续加到 12K 以上收益明显递减——长上下文里中段信息被忽略的概率上升,反而更容易答错。宁可少召回两段、每段短一点,把预算花在重排模型上。
第二,峰值时间。制造业的提问高峰是交接班与开班:早上 8 点到 9 点、下午 1 点到 1 点半,瞬时并发是日均的 3 到 4 倍。配卡按峰值算,不按日均算。制造现场的设备与工艺资料组织方式,可以参考制造业知识库方案里的分层做法。

真正忙的是入库那两天

白天的查询负载其实很轻。一天两百次提问,每次 3K token 输入,总量六十万 token,7B 卡一分钟就能跑完。真正把 GPU 用满的是首次入库与全量重建。
bge-m3 在数据中心卡上处理单段文本约十几毫秒,批处理吞吐能到每秒八百段上下;换成消费级 24GB 卡并跑批 32,实际吞吐大致是这个数的三分之一到一半。3 万块切片按每秒 300 段算,约 100 秒跑完一轮,看似很快,但真实入库还要叠加解析、清洗、图片 OCR、重试与写库,整体常常是四到六个小时。1.2 万页图纸的第一轮全量入库,按一个工作日排比较现实。
把入库拆成三步:解析与切片(CPU 为主,可并行到多核)、批量嵌入(GPU,一次跑完一个文档集)、写库与索引(磁盘 IO)。
三个步骤之间用队列解耦,不要一个脚本从头跑到尾,否则中途失败要全部重来。
嵌入按 512 到 1024 条一批提交,批次太大显存吃紧,太小吞吐上不去。
入库窗口放在夜间,白天只做增量:每天新增或变更的文档通常不到总量的百分之一。
这也解释了为什么 4090 与 L20 的差距不在「快多少」,而在「能不能同时装下三个模型」。算力过剩、显存不够,是这一轮私有化部署里最常见的配置失衡。压测前先看一眼自己的入库总量,再倒推需要几小时的窗口,比对着跑分选卡靠谱。

什么时候 7B 不够,非得上 14B

14B 模型 4bit 权重约 8.5GB,KV 每 token 翻倍到 100KB 上下,一条 8K 序列要 800MB。24GB 卡上,扣掉权重与余量后并发只剩 8 到 10 条,勉强够 50 人使用,而在「多段资料归纳成一份答复」这类任务上,质量确实更好。
判断标准是错的类型:如果评测集里一半以上的错误是「资料找对了,但答案拼错、漏了条件」,才值得上 14B;如果错误集中在「根本没召回对的那一段」,换 14B 只会让同样的错误答得更流畅。先看错误构成,再决定加参数还是加检索。

显存不够时的降级顺序

第一刀,砍召回段数,从 8 段降到 5 段,输入少 1.5K token,KV 与 prefill 同时下降。
第二刀,砍 max-model-len 到 6144,前提是先确认 P95 输入没超过这个值。
第三刀,把重排换成更小的交叉编码器,或把重排条数从 20 降到 10。
第四刀,把嵌入换成 384 维或 512 维的小模型,索引同步重建,检索质量会掉一到两档,需重新标定阈值。
最后才考虑换卡或加卡。顺序反过来做,钱花完了问题还在。

上线后盯三个数

显存水位:nvidia-smi 每秒采样,持续五分钟超过 88% 就该扩或调低 max-num-seqs。
排队等待:vLLM 暴露的 waiting 队列长度,P95 超过 1.5 秒说明容量不足,用户已经在等。
首字延迟 P95:7B 4bit 单卡、输入 3K、输出 300 字的常见区间是 1.2 到 2.5 秒;超出先查输入是否变长、前缀缓存是否失效。

三个常见误判

误判一,以为 4bit 量化会让模型「变笨」。在知识库问答这种以抽取与复述为主的任务里,4bit 与 fp16 的差距通常小于检索召回带来的差距,先修检索再谈精度。
误判二,把 max-model-len 调到模型上限当作「能力更强」。它只表示允许更长输入,不表示更懂长文,代价是并发被压缩。
误判三,以为加卡就能解决慢。多数慢是重排跑在 CPU、或召回段数过多造成的,换卡往往只快一点点。
这套预算算法的价值不在数字本身,而在于让「够不够用」变成可复核的除法:权重多少、KV 多少、余量多少、并发几条,每一步都能算给人看。上邦在 80 到 150 人规模的私有化知识库项目里,通常先用一周做这套压测与参数定档,再拍硬件采购,避免先买卡后返工。

参考来源

vLLM 官方 CLI 文档(gpu-memory-utilization 默认 0.9、max-model-len 与 KV 缓存分配的关系) - docs.vllm.ai。Qwen2.5-7B 模型配置文件(28 层、4 个 KV 头、hidden size 3584、头维度 128) - huggingface.co 上的 Qwen 官方仓库。BAAI bge-m3 模型卡(568M 参数、1024 维、8192 token 输入上限、MIT 许可) - huggingface.co 上的 BAAI 官方仓库。
相关标签:企业AI知识库私有化部署显存预算vLLM制造业

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案