一、切片质量决定检索上限
很多企业知识库项目效果不佳,根因不在大模型,而在入库环节:制度、通知、会议纪要被整篇塞进向量库,检索时命中的是一大段混杂内容,回答自然不精准。据公开信息,Anthropic 在 2024 年 9 月发布的 Contextual Retrieval 实验中,未经上下文处理的切片在 Top-20 检索中有 5.7% 找不回正确段落;补上切片上下文与重排序后,这一失败率可降到 1.9%。换句话说,切片决定了模型能看到的原料质量,原料不行,后面再强的模型也救不回来。
切片策略常见三种流派:固定长度切块实现最简单,但不认文档结构,条款常被拦腰截断;按标题、条款等结构边界切块,最贴合制度文档的组织方式;语义切分用向量相似度寻找话题边界,效果上限高但入库成本也高。办公场景的务实选择是以结构化切分为主、固定长度切块兜底,语义切分留到评测证明确有必要时再引入。
二、办公文档解析的三个高频陷阱
表格内容丢失。用 python-docx 遍历 doc.paragraphs 时读不到表格,而制度文件里的补贴标准表、审批层级表恰恰是最常被问到的内容。必须单独遍历 doc.tables,把每行拼成一行文字再入库,并在元数据里标注所属章节。
扫描件混入。制度汇编里常夹着扫描版红头文件,不做 OCR 直接入库等于存了一张图片,向量库里没有任何文字。入库流水线应先按文件类型分流,扫描件走 OCR 通道(可用 PaddleOCR 等开源工具)。
版本不区分。多版本制度不标生效日期,新旧条款同时命中,员工看到过期考勤规则,比查不到更伤信任。版本字段必须在解析阶段就写入元数据。
三、按标题层级切片:办公文档的默认解
办公制度文档结构规整,章、节、条款层级清晰,按标题切片比固定长度切块更贴近语义边界。LangChain 官方推荐的 RecursiveCharacterTextSplitter 以段落、句子为优先切分点,并用 chunk_overlap 重叠缓解边界信息丢失;官方文档特别提示,中文等无空格语言的默认分隔符会把词拦腰截断,应把中文句号、逗号加入分隔符列表。下面是一段可直接运行的入库脚本,按标题切片后写入 Chroma:
from docx import Document
import chromadb
client = chromadb.PersistentClient(path='./office_kb')
col = client.get_or_create_collection('office_docs')
def split_by_heading(path, dept, doc_type, version):
doc = Document(path)
blocks, cur_title, cur_paras = [], '文档开头', []
for p in doc.paragraphs:
text = p.text.strip()
if not text:
continue
if p.style.name.startswith('Heading'):
if cur_paras:
blocks.append((cur_title, cur_paras))
cur_title, cur_paras = text, []
else:
cur_paras.append(text)
if cur_paras:
blocks.append((cur_title, cur_paras))
ids, docs, metas = [], [], []
for i, (title, paras) in enumerate(blocks):
for j in range(0, len(paras), 6):
seg = '。'.join(paras[j:j + 6])
ids.append(path + '-' + str(i) + '-' + str(j))
docs.append(title + ':' + seg)
metas.append({'dept': dept, 'doc_type': doc_type,
'version': version, 'section': title})
return ids, docs, metas
ids, docs, metas = split_by_heading(
'考勤管理制度.docx', '人力资源部', '制度', '2026-v2')
col.upsert(ids=ids, documents=docs, metadatas=metas)
print('入库切片数:', len(ids))这段脚本把制度文件按标题切成小节,每节再按 6 个段落一组细分,入库时把标题拼在正文开头,检索命中的每一段都自带出处;版本号写入元数据,为后续按现行版过滤留好钩子。
四、切片参数:起点与评测闭环
经验起点:中文 chunk_size 取 300 到 500 字,overlap 取 10% 到 20%;条款类文档宁可切小,一条款一个切片;表格整表作为一个切片,避免跨行断裂。参数不是抄来的,是用评测集测出来的:整理 30 到 50 个员工真实问题与标准答案组成测试集,每次调整切片策略后跑一遍命中率,做到零结果率低于 5%、正确段落稳定进入前 3 再谈上线。评测集要覆盖三类问题:直接条款问答(考勤扣薪怎么算)、跨文档对比(新旧版本差在哪)、流程类问题(报销审批走哪几步),覆盖面不够会高估系统真实水平。评测集同时是回归工具,换嵌入模型、换切片策略后重跑一遍,就能知道改动是进步还是倒退。
五、元数据与权限过滤
切片必须携带四类元数据:部门、文档类型、生效日期、版本号。检索时用 Chroma 的 where 条件过滤,例如查询时限定 dept 等于提问者所在部门、version 为现行版,销售同事就查不到薪酬明细条款。权限做在检索层而不是靠模型自觉,这是私有化知识库与公网问答最本质的区别之一。先拿一两个部门的文档做两周年检试点,跑通解析、切片、评测、过滤四步,再横向铺开,是中小团队成本最低的推进路径。
以上解析、切片、元数据治理与权限过滤的完整流程,是上邦私有 AI 知识库方案在办公场景的标准做法之一,全流程本地化部署、数据不出内网。建设步骤与选型细节可参考 https://aiwork.shangbon.com/ai-rag.html。
参考来源
Splitting recursively - Text splitter integration guide - LangChain 官方文档;Introducing Contextual Retrieval - Anthropic(2024 年 9 月);Quickstart - Chroma 官方文档。