先说结论:办公制度类知识库答不上来,多数不是模型不聪明,而是员工的原话和制度原文根本不是一套词。可用的补法分三层:入库时把别名与提问式摘要一起写进被索引的文本,查询时做受约束的改写,最后保留一条关键词通道兜住专有名词。一名行政或人事专员加一名懂 Python 的同事,两周能补齐八十到一百二十份高频制度,改动全在数据层,不必换模型。最容易踩的坑是把别名只加在查询端——查询能想到的叫法永远比文档里的少,别名只有落进入库文本才有覆盖率。
措辞落差有多大,一九八七年就量过了
Furnas 等人在 1987 年《Communications of the ACM》第 30 卷第 11 期发表的研究里,让不同的人为同一批事物命名,覆盖五个应用领域,结果是任意两个人选到同一个词的概率都低于 0.20。论文据此给出的判断很直接:只用一个设计者偏好的词作为唯一入口,在很多常见情境下会造成百分之八十到九十的失败率。作者提出的方向叫无限制别名,也就是接受使用者可能用到的所有说法。
同一机制在检索系统里被独立验证过一次。据公开信息,Blair 与 Maron 在 1985 年对一套全文检索系统的评估中发现,律师自认为找回了约四分之三的相关文档,实际只有约五分之一。差别不在检索技术,而在想得到与写得出之间的鸿沟。
这条规律对制度查询尤其刺眼:不要指望员工学会制度的说法。制度是法务和人事写的,用词追求准确与可执行;员工提问追求快,用的是车间和办公室里的日常表达。系统要做的不是纠正员工,而是同时容纳五到十种叫法,并且让这些叫法进入索引。
三类落差,补法各不相同
第一类是同一概念的不同叫法:报销、费用核销、请款、走账;年假、带薪年休假、调休。这一类的补法是别名表,工程量小,收益最大,也是唯一能靠一个人完成的部分。
第二类是上下位词与颗粒度差异。员工问请假怎么弄,制度里分事假、病假、婚假、产假、陪产假,每类流程和审批人都不一样。这一类的补法是提问式摘要:在请假这个上位词下,把各子类的适用条件与审批链写成一组短句,让上位提问能落到具体条款。产品知识库里对这类分层召回有成熟做法,可以直接借用。
第三类是省略与指代:那个单子什么时候批,上个月那笔还没到。这类单靠补文本解决不了,只能靠查询端补全上下文,或者干脆在界面上引导用户从部门与单据类型选起。实践里最省事的处理是承认它解决不了,把它挡在入口之外,而不是让模型硬猜。
分类的意义在于优先级。三类里第一类占比最高、工程量最小,先做它;第二类决定命中后的答案是否准确;第三类只影响体验,放在最后。顺序反过来,项目往往在第三类上耗掉大半时间,最后手里没有一个可用的别名表。更完整的检索侧设计在企业知识库产品页有对应的能力说明。
治理一:别名必须写进被索引的文本
先说一个常见错误:只做查询端的同义词扩展。它失效的原因很实在——查询端能扩展到什么词,取决于你事先想到了什么,而员工的说法是长尾。别名只有进入被索引的文本,才会进入向量,才能被任意一种说法召回。
维护方式用两张表就够。一张切片表,字段是文档编号、切片序号、标题、正文、部门、状态;一张别名表,字段是文档编号与别名,一份文档可以有多行。入库时把该文档的全部别名拼到切片文本末尾。下面的脚本里,真正起作用的只有 body 的拼接这一行,其余都是常规模板。
import csv, hashlib, chromadb
from sentence_transformers import SentenceTransformer
m = SentenceTransformer('BAAI/bge-m3')
db = chromadb.PersistentClient(path='./idx_policy')
col = db.get_or_create_collection('policy', metadata={'hnsw:space': 'cosine'})
alias = {}
with open('alias.csv', encoding='utf-8') as f:
for row in csv.DictReader(f):
alias.setdefault(row['doc_id'], []).append(row['alias'].strip())
rows = list(csv.DictReader(open('chunks.csv', encoding='utf-8')))
ids, texts, metas = [], [], []
for r in rows:
words = ';'.join(alias.get(r['doc_id'], []))
body = r['title'] + '。' + r['text']
if words:
body = body + '。同义说法:' + words
ids.append(hashlib.md5((r['doc_id'] + r['chunk_no']).encode()).hexdigest())
texts.append(body)
metas.append({'doc_id': r['doc_id'], 'dept': r['dept'], 'status': r['status']})
col.upsert(ids=ids, documents=texts,
embeddings=m.encode(texts, normalize_embeddings=True).tolist(),
metadatas=metas)
用 upsert 而不是 add,是为了让别名更新时能覆盖旧切片。文档编号加切片序号做哈希作为主键,好处是同一份制度重新切片后,旧的切片会被同一批主键覆盖,不会留下两份内容相似、日期不同的残留,检索时也就不会命中过期版本。
别名从三个地方来,按可信度排序:一是企业内部沟通群里真实问过的原话,二是人事与行政的工单标题,三是老员工的口头习惯。前两个来源可以直接导出,第三个需要访谈,一次两小时能覆盖一个部门的常用说法。
别名的维护要挂在流程上,不要靠人记。建议绑定制度发布环节:任何一份制度修订发布时,同步更新别名表,与正文一起走审批。挂在发布流程上的好处是不会腐化,指定专人每季度整理一次的做法,通常撑不过半年就会停。
治理二:提问式摘要只做路标,不做答案
制度按条款写,员工按场景问。入库时可以为每份制度额外生成一段短摘要,只写谁在什么情况下要做什么、找谁审批、多久内完成,用提问的口吻组织。检索时这段摘要负责被召回,命中后返回原文切片用于作答与溯源。
这里有一条硬规矩:摘要只用于召回,不能用于回答。摘要经过改写,数字和条件容易走样;一旦让模型对着摘要作答,就会出现看起来对、条件错了的答案,这比查不到危险得多。可以用一段十行的校验把风险压住:摘要里出现的每一个数字,必须在原文里出现过。
import re
def numbers_anchored(summary, source):
pat = re.compile(r'[0-9]+')
return set(pat.findall(summary)) <= set(pat.findall(source))
# 返回 False 的摘要进人工复核队列,不放行
生成摘要用本地小模型就够,这类改写不需要推理能力,七十亿参数的量化模型在普通办公机上跑得动,一天能过完几百份制度。批量生成后按上面的函数过一遍,通过率通常在八成到九成之间,剩下的手工改。这一步的投入产出比很高,因为它同时解决了召回和可读性两个问题。
治理三:查询端只做受约束的改写
改写是双刃剑。把一句口语改写成三条书面表述,能显著提高召回;但改写一旦丢掉限定条件,就会答错制度。约束要写得很具体:金额、时限、部门、单据名称、人员身份,这五类信息在改写中必须原样保留,出现任何增删就丢弃这条改写结果,退回原句。
多查询的实现不复杂:三条改写各取前五条结果,按倒数排名融合合并,常数 k 取 60。融合之后再交给重排模型,避免把三条查询的噪声一起放大。改写与重排都放在同步链路上时,整体响应时间会明显变长,常见做法是给高频问法建缓存,缓存命中直接返回,改写只处理未命中。
另一条路是 HyDE,也就是用模型先生成一段假设性的书面表述,再用它去检索,这是 2022 年 ACL 论文提出的做法,对口语与书面语的错配确实有效。但制度场景要改用法:让它生成可能的书面表述,而不是可能的答案。生成答案会编造条款号,而条款号一旦编错,整个回答的可信度就归零了,用户也不会再打开第二次。
三十天推进清单
第一周:导出近三个月的高频提问原话,取前五十条,人工标出对应条款。
第二周:按提问频次排出前一百份制度,导出正文并按标题层级切片。
第三周:补齐别名表,从群聊原话与工单标题提词,覆盖率做到八成。
第四周:生成提问式摘要并做数字锚定校验,双通道上线,同时打开零结果日志。
上线后每周过一遍零结果清单,把新说法补进别名表,形成闭环。
第二周:按提问频次排出前一百份制度,导出正文并按标题层级切片。
第三周:补齐别名表,从群聊原话与工单标题提词,覆盖率做到八成。
第四周:生成提问式摘要并做数字锚定校验,双通道上线,同时打开零结果日志。
上线后每周过一遍零结果清单,把新说法补进别名表,形成闭环。
这份清单的排期是给一个人的工作量估的。如果行政和人事能各出半天配合访谈,第三周可以压缩到两天。真正耗时的不是脚本,是把散落在各处的叫法收集起来并对齐口径,这部分必须由业务方做,IT 代劳只会得到一份自己想当然的词表。办公场景的完整落地路径,在办公场景知识库方案里有配套说明。
验收只看三个数
第一个是零结果率,目标压到一成以下。第二个是一次答准率,抽五十条真实提问人工判定,要求答案与条款一致、适用条件不错。第三个是别名覆盖率,即高频制度里有三个以上别名的比例,低于八成时先补数据,别去动检索参数。
满意度问卷在这个阶段几乎没有分辨力:员工对查不到这件事容忍度很高,会自己再问一遍同事,问卷打出来往往是八十分。真正能反映问题的,是零结果日志和工单里重复出现的提问,前者告诉你缺什么词,后者告诉你缺哪份制度。
最后提醒一句:这三件事全部发生在数据层,不需要改检索算法,也不需要更大的显卡。制度查询是最适合先做的一类知识库,因为语料短、标准答案明确、见效快。上邦在这类私有化部署里通常先用两周做一份制度别名与摘要基线,再谈模型与硬件,顺序反过来,预算基本白花。私有化部署与检索链路的整体设计,可以参考私有 AI 知识库的说明。
参考来源
The Vocabulary Problem in Human-System Communication(两人选到同一词的概率低于 0.20、单一入口导致百分之八十到九十失败率) - Furnas、Landauer、Gomez、Dumais,Communications of the ACM,1987 年第 30 卷第 11 期。An Evaluation of Retrieval Effectiveness for a Full-Text Document-Retrieval System(自认为找回四分之三、实际约五分之一) - Blair 与 Maron,Communications of the ACM,1985 年。Precise Zero-Shot Dense Retrieval without Relevance Labels(HyDE 方法) - Gao 等人,ACL 2022。