欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

一次错答抵三十次拒答:制度问答拒绝线的标定方法

上邦数据团队2026-10-27阅读 约 8 分钟
拒绝线定在 0.75 是最常见的拍脑袋做法。本文把一次错答的返工代价与一次拒答的人工代价放进同一张表,用 40 条真实标注题扫出期望成本曲线,取平台区中点定阈值,给出高、中、低三层拒绝与强制引用的写法,并说明换嵌入模型、改切片长度、接入重排模型后为什么必须整批重新标定,以及每月该盯哪三个分布指标。
结论先说:制度问答的拒绝线不该抄别人的 0.75,它由两个成本数的比值决定:一次错答要赔多少、一次拒答要让人多花多少时间。办公场景这个比值常在 20 到 50 倍之间,对应的拒绝线一般落在余弦 0.60 到 0.68 的中段,代价是主动放弃一到两成本来能答的问题。做法是标 40 条带答案的题、扫一遍阈值、取期望成本平台区的中点。一个人半天标注、两小时跑脚本就能定下来。最容易踩的坑是把余弦相似度当绝对分:换嵌入模型、换切片长度、改距离度量,同一批问题的分数会整体平移,旧阈值立刻失效。
本文把这件事拆成四步:先证明阈值不可迁移,再估两个成本数,然后用标注题扫出曲线,最后落到三层拒绝策略。整个过程的产出不是一个数字,而是一份可以三个月后重跑一次的标定记录。

为什么 0.75 换到另一个模型上就废了

余弦相似度的绝对值没有跨模型的意义。它取决于嵌入模型的训练目标、是否做归一化、切片长度、以及查询侧要不要加指令前缀。换掉其中任何一项,整批问题的分数分布都会平移。
举个可复算的例子。同一个问题「出差住宿标准」,用 bge-m3 嵌入,命中块得分 0.71,相邻的无关块 0.64,绝对差 0.07;换成需要查询指令的 Qwen3-Embedding-0.6B,命中块 0.83,无关块 0.72,绝对差变成 0.11。前者要把线定在 0.68 附近才能同时做到「命中不拒」和「无关不答」,后者要定到 0.78 才等价。同一个 0.75,在前者会误拒,在后者会放过一批无关块。
还有一层更隐蔽:向量库的默认距离度量。Chroma 建集合时如果不显式指定 hnsw:space 为 cosine,默认走的是平方 L2,返回的 distance 越小越近,换算成相似度要自己处理,不同实现差一个数量级很常见。用错度量算出来的阈值,看起来收敛、实际全是噪声。
结论只有一个:阈值必须在本库、本模型、本切片策略上重新标定。任何「业内普遍用 0.75」的说法都不可信,包括本文给出的区间。

先把两个成本数估出来

拒绝线本质是一道选择题:把一条模棱两可的问题放过去,可能答错;拦住它,用户要去问人。两种代价不一样大,最优解就落在代价平衡点上。这就是经典的拒绝选项问题,Chow 在 1970 年给出的结论至今适用——当错判代价与拒判代价已知时,最优决策是一条带阈值的规则,而不是每次都答。
第一步,估错答代价。以报销制度为例:答错住宿上限,员工按错误标准报销,差额要追回,财务复核一次约 0.2 人日,加沟通与返工约 0.5 人日,按 400 元一人日计约 280 元;若涉及加班费、年假天数这类口径,风险敞口更大,取整到 600 元作为示例参数。
第二步,估拒答代价。员工没查到去问行政,来回 10 到 15 分钟;行政被打断后恢复专注约需 20 分钟,按 20% 到 30% 折算,实际分摊 5 分钟左右。合计约 20 元。
第三步,算比值。600 除以 20 等于 30,意思是错答一次相当于三十次拒答的代价。
第四步,定方向。比值越大越应该保守,也就是说宁可多拒、不要错答;但保守的代价是使用率下降,所以不能一路往高推,要在标注集上看曲线。
这四个数都要用自己公司的真实口径算一遍。人工单价、复核工时、风险敞口,每个企业不同,比值从 10 倍到 60 倍都正常。抄别人的比值,等于抄别人的成本结构。

用 40 条题扫一遍阈值

有了两个成本数,剩下的就是数据活。准备一份标注集:40 条真实提问,其中 30 条有明确答案(标明命中块的 id),10 条故意问制度里没有的东西。每条问题跑一次检索,把前 5 条的 id 与分数存下来,然后扫阈值。
import json

C_FP = 600.0   # 一次错答的代价,示例参数,按本公司口径替换
C_FN = 20.0    # 一次拒答的代价,示例参数

rows = [json.loads(l) for l in open('labeled.jsonl', encoding='utf-8')]
# 每行结构:q、answerable(布尔)、gold_id、hits(前 5 条,含 id 与 score)

for t in (0.50, 0.54, 0.58, 0.62, 0.66, 0.70, 0.74, 0.78, 0.82):
    right = wrong = refused = 0
    for r in rows:
        top = r['hits'][0]
        if top['score'] < t:
            refused += 1
            continue
        if r['answerable'] and top['id'] == r['gold_id']:
            right += 1
        else:
            wrong += 1
    cost = wrong * C_FP + refused * C_FN
    print(f't={t:.2f} 对={right:2d} 错={wrong:2d} 拒={refused:2d} 期望成本={cost:8.0f}')
跑完会看到一条先降后升的曲线:阈值太低,错答多,成本高;阈值太高,拒答多,成本又上来。取最低点附近的平台区中点,不要取单点最低。40 条样本的曲线是有噪声的,两个相邻阈值成本差一百块以内,说明它们等价,选中间那个更稳;阈值差 0.01 成本就跳一截,说明样本里有一条边界问题在主导结论,得回去看那条标注对不对。
标注集里那 10 条不可答题是整件事的关键。没有它们,扫描结果会一路往低阈值跑,因为在可答题上「答得越多越对」。拒答能力只能靠不可答题测出来,占比建议 20% 到 30%。

标注集怎么标才不算白标

40 条样本很容易标歪,标歪了阈值就定错。三个动作能显著提高可用性。
从真实日志里取,不要自己出题。挑近三个月员工实际问过的、且行政或人事真实回答过的问题,回答内容就是标准答案。
标注「命中块 id」而不是「答案对不对」。检索层的评测只看有没有把正确的那一段排到第一位,答案质量是另一层的事,混在一起会得出错误结论。
每条写一行备注,说明它属于哪一类:纯事实(住宿上限多少)、条件判断(出差几天以上算长期)、流程(报销走哪几个节点)。三类问题的分数分布不同,混在一起扫出来的阈值会偏向占比最大的那一类。
不可答题要写得像真问题。写「火星出差标准」这种明显不存在的,模型一律低分,测不出拒答能力;要写「外派到客户现场期间的餐补怎么算」这种听着合理、制度里确实没写的。
标完先别急着扫阈值,抽五条人工看一眼检索结果。如果本来就召不回正确段落,问题在切片或别名,不在阈值,这时候调阈值只是把错误藏起来。

三层比一条线稳

单阈值的问题在于它把「有八分把握」和「只有六分把握」当成同一类。实际落地用三层,中间层加强制引用,既不浪费召回,也不放任错答。
高层,分数不低于 0.78:直接作答,附条款原文与出处链接。
中层,0.62 到 0.78:照样作答,但必须把命中的条款原文完整贴在答案下方,并固定加一句「以制度原文为准,如与本文不符请联系行政部」,同时把这条问答记进待复核队列。
低层,低于 0.62:拒答,不给结论,改为列出最接近的两条制度标题与链接,并提供转人工入口。
三层阈值各自独立可调,先定低层(决定安全),再定中层(决定体感),高层通常跟着中层走。
中层为什么值得留?因为制度问答的多数提问是「我的情况算不算」,答案哪怕不完整,把原文摆出来也能让人自己判断,这比直接拒答有用得多。强制引用同时解决了另一个问题:员工信不信。没有出处的答案在制度场景里几乎等于没有答案。这套分层与引用呈现方式,与企业知识库产品里的答案溯源设计是一致的。

拒答要给出下一步,否则等于坏掉

拒答不是终点。一句「未找到相关内容」等于把用户推回原点,用不了两周就没人再问。拒答话术建议三段:说清没找到什么、给出最接近的两条、告诉用户找谁能解决。三段加起来不超过三行,别写成免责声明。
更关键的是把拒答记下来。零结果日志按周聚合,看三件事:问题里出现频次最高的名词、被问到最多的部门、以及连续两周重复出现的问题。前两类是文档缺口,第三类往往是切片或别名问题——同一个东西员工有五种叫法,制度里只写了一种。办公场景的完整落地路径,在办公场景知识库方案里有对应的实施顺序。

换模型、换切片,都要重标定

四种改动会让阈值失效:换嵌入模型(分数分布整体平移)、改切片长度(切得越短,同语义块分数越高,线要同步上调)、改距离度量(L2 换余弦,量纲完全变)、接入重排模型(重排分数量纲与向量分数无关,不能混用同一个阈值)。前三种必须全量重标,第四种应该给重排单独定线,不要拿向量分当重排分。
实践上有个省事的做法:把标定脚本和标注集一起放进仓库,每次改动重跑一遍,输出一行「本次阈值 X、错答 N 条、拒答 M 条、期望成本 C」。三个月后有人问为什么是 0.62,这条记录就是答案,而不是一句「当时试出来的」。

每月看三个分布指标

首位分数中位数:全量问题的 top1 分数月度中位数,漂移超过 0.05 就要查文档或模型是否变过。
零结果率:低于拒绝线的提问占比,长期高于 25% 说明文档覆盖不足,不是阈值问题。
拒答后追问率:被拒后用户在同一会话里换个说法再问的比例,高说明拒错了,该下调低层阈值。

办公场景里三类不该回答的问题

需要个案判断的:「我这个情况能不能报」——制度给的是规则,个案要人事或财务判断,直接转人工。
制度本身有两版且未定稿的:答哪一版都是错的,应该提示存在版本冲突并给出两版的生效日期。
涉及个人薪酬、绩效、合同金额的:超出权限范围,无论分数多高都拒,这是权限设计问题,不能靠阈值补救。
回头看,拒绝线不是一个技术参数,而是一次成本表态:你更怕答错,还是更怕没人用。把这个表态写进标定记录、用数据说清代价,它就不再是拍脑袋的数字。上邦在这类制度问答项目里通常把标定脚本、标注集与月度分布报表一并交付,让客户自己能在换模型时重跑一遍,不必回头找人。

参考来源

On Optimum Recognition Error and Reject Tradeoff(拒绝选项的最优决策规则) - Chow,IEEE Transactions on Information Theory,1970 年。BAAI bge-m3 模型卡(1024 维稠密向量、8192 token 输入上限、查询侧无需前缀) - huggingface.co 上的 BAAI 官方仓库。Chroma 官方文档中关于集合 hnsw:space 与距离度量的说明 - docs.trychroma.com。
相关标签:企业AI知识库检索质量拒答阈值评测标定办公制度

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案