欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

知识库每次调优都像开盲盒:用真实查询日志建一套可回归的评测基线

上邦 RAG 团队2026-10-20阅读 约 10 分钟
换切片、补文档、调提示词之后效果到底是好是坏,多数团队只能靠投诉判断。本文给出一套可复现的做法:从 90 天真实提问日志按四层比例抽出 120 至 200 道题,每题固定五个字段与判定口径,用不到五十行的脚本跑出召回与回归差异,再配合绝对值底线与 2 个百分点的合并规则,把凭感觉调优变成有账可查。附一套脱敏项目的静默退化记录与四类指标的取舍方法。
结论先行:只要知识库还会被改动——换切片、换嵌入模型、补文档、调提示词——没有固定评测集的调优就等于没有对照组的实验,改好一个问题、同时改坏三个问题是常态。可行做法是先用真实查询日志抽出 120 至 200 道题,每题写清标准出处与「可答 / 应拒答」两类判定,形成一条 20 分钟内能跑完的回归基线,此后任何改动都先跑基线,再看是否有单项指标下降超过 2 个百分点。一个熟悉业务的同事投入 3 天即可完成首版题目与判定口径,之后每次改动只需 20 分钟跑批、半小时看差异。最容易踩的坑是题目由建设者自己造,而不是从真实提问里长出来,分数很好看,用户照样查不到。

没有对照组的调优,退化和进步分不清

知识库不是单一模块,而是一条链:文件解析、切片、嵌入、召回、重排、生成、权限过滤。链上任何一环的改动都会影响全局,而且影响方向往往相反。把切片粒度从 800 字压到 400 字,短问题的召回率会上升,跨章节汇总类问题的答案完整度会下降;给制度文件加上现行版元数据过滤,作废条款的误命中会消失,但漏标版本的旧文件会整批失联。这类此消彼长不是缺陷,是结构决定的。问题在于,如果没有一条固定的题集反复跑,你无法知道净效果是正还是负——只能靠用户投诉来判断,而用户不投诉通常意味着他们悄悄不用了,不表示系统好用。
下面是一组脱敏后的项目记录,可以说明这种静默退化有多隐蔽。某 160 人规模的工贸企业,行政、人力、财务三个部门共用一套制度库,入库 1,180 份制度与流程文件。第一阶段只按「文件是否入库、能否搜到标题」验收,验收顺利通过。第二个月行政工单里集中出现 17 起同类型投诉:系统给出的条款不是最新版本。排查发现切片时把文件末尾的修订记录和旧版附件当成正文入库,检索时旧条款的相似度反而更高。补上现行版元数据过滤后,200 道抽样题的条款命中率从 58% 提升到 79%,但同一批题目里跨章节汇总类问题的要点答全率从 71% 降到 52%,原因是切片切断了跨页表格。如果第二阶段没有这 200 道题做对照,第二个退化根本不会被发现,只会在两个月后表现为大家又开始直接问行政。

题目从哪来:四层抽样,别自己造句

评测集最常见的失败是自问自答:建设者看着文档出题,出的必然是文档里有答案的问题,天然高命中,与真实提问的分布相去甚远。正确的来源是使用者的真实提问,再按比例补齐建设者覆盖不到的部分。下面这套比例可以直接照搬,总量控制在 120 至 200 道,超过 200 道后人工判定成本会拖垮节奏,题目会变成摆设。
第一层,真实提问日志,占 50%。把企业微信、工单、客服系统近 90 天的提问导出,做去重与聚类,每个语义簇取 2 至 3 条原话,保留口语和错别字,不要改写成规范问句。
第二层,高频文档反向出题,占 25%。取访问量前 20% 的文档,每份出 3 道「这段内容能回答的问题」,用来覆盖用户想问但没问出口的部分。
第三层,应拒答题,占 15%。故意问库里没有的东西:外部法规原文、尚未发布的制度、超出本部门权限的文件、其他客户的资料。这类题不测答得好不好,只测会不会硬编。
第四层,边界题,占 10%。多版本并存、跨章节汇总、同一概念两种叫法(如差旅标准与出差报销上限)、需要权限判断的问题。
四层比例不是教条,但它保证了一件事:任何一次改动都不会只在一个题型上被评估。实践中最容易被忽略的是第三层,而它恰恰决定用户敢不敢用——一次编得很像真的答复,足以让一个部门集体弃用。这套题集的另一个作用是权限回归:知识库加了部门隔离之后,必须能用「越界题」验证某个部门的账号确实查不到另一个部门的文件,这件事只能靠固定题目反复跑。

一道题至少五个字段,判定口径写在题里

题目不是一句问句,而是一条可自动判定的记录。建议用 JSON Lines 存,一行一题,字段固定五项:id(题号,按批次编号,如 q-0001)、q(原话问题)、gold_sources(期望命中的文档编号加切片编号,允许 1 至 3 个)、answerable(可答或应拒答)、must_contain(答案必须出现的 2 至 4 个要点,同一要点允许多种表述,用并列关系写)。如果再严谨一点,加第六项 must_not_claim,列出禁止出现的断言,例如旧标准的数值、已废止的审批层级。
有了 gold_sources,检索层就可以完全自动判定,不需要人看:命中集合与 gold 的交集除以 gold 的数量,就是单题的召回值。答案层则看 must_contain 的覆盖率,用宽松匹配(关键词或同义表述命中任意一种即算),把边界情况留给人工抽检。这一步的关键是承认「答案正确」很难自动判,所以只自动判「要点是否出现」和「是否出现禁止断言」,其余交给抽检,不做虚假的精确。判定口径必须写进题目文件,不能只写在某个人的脑子里——否则换人跑批,同一套题会得出两套结论。

四类指标方向相反,只看一个必然误判

开源评测框架 RAGAS 把检索增强生成的评估拆成四类指标:faithfulness(答案是否被检索到的上下文支撑)、answer relevancy(答案是否切题)、context precision(召回的片段里有多少是相关的)、context recall(标准答案所需的信息是否被召回)。四者的定义在其官方文档中有明确说明。这四类指标的价值不在名字,而在于它们方向相反:为了提高 context recall 而扩大召回数量,context precision 必然下降;为了提高 faithfulness 而让模型严格照抄原文,answer relevancy 会变差。因此单看任何一个指标都能优化出漂亮数字,用户体感却是变差。
同理,检索评测不能借用通用基准。BEIR 基准(2021 年公开的异构检索评测集)的核心结论之一,是检索模型在不同领域、不同任务上的表现差异极大,在单一数据集上的领先不能外推到其他场景。企业制度库、图纸库、单证库的提问分布与任何公开问答集都不重合,评测集必须自己长出来。

最小可用的回归脚本

不需要评测平台,一个能读题、能跑检索、能出差异的脚本就够。下面的代码假设你已经有 retrieve(question, k) 这个函数返回切片编号列表,其余部分可以直接复用。
import json, statistics
from pathlib import Path

def load_eval(path):
    lines = Path(path).read_text(encoding='utf-8').splitlines()
    return [json.loads(line) for line in lines if line.strip()]

def recall_at_k(hits, gold, k=5):
    top, want = set(hits[:k]), set(gold)
    return len(top & want) / len(want) if want else 0.0

def run_batch(eval_path, retrieve, k=5):
    rows = []
    for item in load_eval(eval_path):
        hits = retrieve(item['q'], k=k)[:k]
        rows.append({'id': item['id'], 'recall': recall_at_k(hits, item['gold_sources'], k)})
    return rows

def summarize(rows):
    return {'n': len(rows),
            'recall_mean': round(statistics.mean(r['recall'] for r in rows), 4),
            'zero_hit': sum(1 for r in rows if r['recall'] == 0.0)}

def regressions(base_rows, cur_rows, drop=0.02):
    base = {r['id']: r['recall'] for r in base_rows}
    out = []
    for r in cur_rows:
        old = base.get(r['id'])
        if old is not None and r['recall'] < old - drop:
            out.append((r['id'], round(old, 3), round(r['recall'], 3)))
    return sorted(out, key=lambda x: x[2] - x[1])

if __name__ == '__main__':
    cur = run_batch('eval/kb_office_v1.jsonl', retrieve=lambda q, k: [], k=5)
    print(summarize(cur))
跑批产物按日期存一份基线文件(如 baseline/2026-10-20.json),regressions 函数输出的是比基线掉超过 2 个百分点的题号。合并规则只有一条:regressions 为空且总体召回均值不降,才允许上线;非空就必须先看那几道题掉在哪里,是切片边界问题还是元数据漏标,定位后再改。这条规则把凭感觉调优变成了有账可查。

门槛怎么定:绝对值管底线,相对值管合并

检索层:Recall@5 不低于 0.75(试点期)、0.85(稳定期);零命中率不高于 8%。
答案层:要点覆盖率不低于 0.80;忠实度不低于 0.85,即答案中每一条事实性陈述都能回溯到检索片段。
安全层:应拒答正确率不低于 0.90,越界问题必须明确拒答并给出可找谁问的指引,不接受「大概是这样」式回答。
性能层:内网环境 P95 首字时延不超过 3 秒,超过后用户会改回直接问人。
合并规则:任何单项下降超过 2 个百分点即阻断;某项大幅提升但另一项下降超过 2 个百分点同样阻断,防止拆东墙补西墙。
阈值要根据首版基线的真实水平定,不要一步到位按理想值设。如果首版 Recall@5 只有 0.62,把门槛写成 0.85 只会让所有改动都被阻断,最后所有人都学会绕过流程。合理做法是把门槛设为当前值加 5 个百分点,每季度重设一次。

要不要用大模型当判官

要点覆盖可以用规则判,但「答案是否忠实于上下文」只能靠语义判断。用本地部署的 7B 级模型做判官是可行的,前提是把它当抽样工具而不是裁判:每轮抽 30% 的题目让模型判,其中再抽 20% 由业务同事复核,记录模型与人工的一致率。一致率低于 80% 时,先把判官提示词固定成模板(给出上下文、答案,要求输出「支撑 / 部分支撑 / 无支撑」三档),再加大人工比例。判官的作用是发现趋势,不是给出绝对分数;把它当成唯一验收依据,比不测更危险,因为它会给出一个看起来很专业的错误结论。

零结果日志是最便宜的题目来源

上线之后,最好的新题来源不是再找文档出题,而是系统的零结果查询日志:用户问了、但检索没有返回任何超过阈值的结果,或者返回了但用户连续追问三次。把这些查询每周导一次,人工看 30 条,库内能答的补进第四层边界题,库外内容补进第三层应拒答题。这件事每周只需半小时,但能让评测集跟上业务变化——制度在改、产品在变、组织在调,评测集如果半年不更新,测的其实是半年前的业务。零结果率本身就是一项健康指标:稳定在 8% 以下说明覆盖面够,突然从 5% 跳到 15%,通常是某批文档解析失败或元数据字段改了名。

人力与节奏:3 天建库,20 分钟一次回归

第 1 天:导出 90 天提问日志,去重聚类,选出 60 至 80 条原话,落成 JSON Lines 骨架。
第 2 天:补高频文档反向题 40 道、应拒答题 30 道、边界题 20 道,标出 gold_sources。
第 3 天:由业务同事逐题补 must_contain 与判定口径,跑首版基线,冻结为 v1。
第 4 周起:每次改动前跑批 20 分钟,改动后复跑并出差异;每两周从零结果日志补 10 道新题,版本号递增。
出题人必须是使用者侧。让行政、人力、单证、工艺这些真正提问的人来写 must_contain,建设者只负责格式、脚本和跑批。这条分工看起来麻烦,实际省时间:建设者写的判定口径,通常和业务的实际判断差一层,差的那一层就是上线后被投诉的部分。

三个反复出现的坑

第一,题目自造。建设者按文档出题,等于用答案反推问题,命中率天然虚高,上线后真实提问的命中率往往只有评测值的一半。判断方法很简单:看评测集里有多少题是原话带口语、带错别字的,如果一条都没有,这套题基本无效。
第二,只测可答、不测应拒答。企业知识库里最伤信任的不是答不上来,而是答得像真的。应拒答题占比低于 10% 的评测集,基本测不出这个问题,而它造成的后果通常不是一次错误答复,是整个部门不再使用。
第三,一次改三个变量。同时换嵌入模型、改切片、加提示词,指标变好也不知道是谁的功劳,变差也定位不到。一次只动一个变量,跑完基线再动下一个——这条纪律比任何模型选型都更影响最终效果。
把评测集当成知识库的一部分来维护,是这套做法能否长期成立的分水岭。私有化部署的检索问答在架构上并不复杂,真正拉开差距的是有没有一条可复现的验收线:它决定了你是每两周稳稳前进一小步,还是每季度推翻重来一次。上邦在交付企业知识库时把这套基线作为上线交付物之一,与系统一起移交,原因也在这里——没有验收线的系统,交接之后没人敢动。更完整的检索链路设计可以参考私有 AI 知识库方案,产品侧的权限与现行版机制见企业知识库产品页,办公场景的具体落地路径见办公知识管理解决方案。

参考来源

RAGAS 官方文档(faithfulness、answer relevancy、context precision、context recall 四类指标定义) - docs.ragas.io;BEIR:A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models(2021) - arXiv 预印本;Chroma 官方文档(PersistentClient 与元数据过滤用法) - docs.trychroma.com
相关标签:企业AI知识库RAG评测回归基线知识库验收

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案