贸易企业的经营知识高度分散:报价单以 PDF 或 Excel 流转,买卖合同是 Word 文档,客户与商品档案躺在系统导出表里,报关单、箱单、质检报告大量是扫描件,与客户的沟通记录则封存在邮箱中。建设企业知识库时,多数团队的注意力放在向量模型与问答效果上,但真正决定效果上限的是入库层——如果解析环节丢失了表格结构、版本信息或客户归属,后续检索与问答都会建立在残缺数据之上。
一、统一解析层:一个接口吃下所有格式
与其为每种格式维护一套解析脚本,不如先搭一层统一解析服务。Apache Tika 是这一层的成熟选择:据其官网信息,Tika 支持上千种文件类型的文本与元数据抽取,覆盖 PDF、Office 全家桶、HTML、邮件等常见格式,并以 tika-server 提供 REST 接口,任何开发语言都能调用;4.x 版本起默认输出 Markdown,天然贴合大模型语料的组织习惯。更重要的是工程属性:据官方文档说明,不可信文档可在独立子进程中解析,单个畸形文件崩溃不会拖垮整个入库服务,这对要批量吞历史文档的场景是硬需求。
部署方式:官网下载 tika-server 标准包,解压后以 java -jar 启动,默认监听 127.0.0.1:9998;生产环境务必绑定内网地址,并按官方建议关闭配置类端点。
二、分格式特判:统一接口之下的结构保留
统一解析解决的是能读,特判解决的是读好。三类文档需要区别对待:
表格类(报价单、库存表、客户档案):通用解析会把表格拍平成文本,行列关系丢失。这类文件建议绕过统一层,用 openpyxl 按行读取,每行商品报价转为一个独立知识单元,保留品名、单价、币种、客户等字段。
合同与方案类(Word):用 python-docx 按标题层级切片,一级条款一个切片,避免把违约责任与付款条件混进同一段向量,导致检索时语义互相干扰。
扫描件(报关单、箱单、质检报告):先 OCR 再入库,并对识别结果抽样人工校验;置信度低的文档打上待复核标记,不直接进入检索池。
三、四步入库流水线
第一步格式探测与路由:按扩展名与内容嗅探分流,表格走 openpyxl 分支,其余交给 tika-server。第二步解析与清洗:去除页眉页脚与水印文字,邮件正文剥离签名档。第三步元数据归一:为每份文档补齐客户名称、负责人、单据类型、业务日期、版本号、币种六个字段,这是后续权限过滤与现行版过滤的地基。第四步切片入库:清洗后的文本按 500 字左右切片写入向量库。调用 tika-server 的核心代码如下:
import requests
def extract_text(path):
with open(path, 'rb') as f:
r = requests.put('http://127.0.0.1:9998/tika/text', data=f)
r.raise_for_status()
return r.text
for p in ['合同A.docx', '方案B.pdf', '邮件C.eml']:
text = extract_text(p)
print(p, len(text))切片入库与带权限过滤的检索示例(Chroma):
import chromadb
client = chromadb.PersistentClient(path='./trade_kb')
col = client.get_or_create_collection('trade_docs')
def add_doc(doc_id, text, meta):
size = 500
for i in range(0, len(text), size):
col.add(
ids=[doc_id + '-' + str(i)],
documents=[text[i:i + size]],
metadatas=[dict(meta, chunk=i // size)])
add_doc('quote-2024-0912', text, {
'customer': '华东机电', 'owner': 'zhang',
'doc_type': '报价单', 'date': '2024-09-12', 'version': 1})
res = col.query(
query_texts=['华东机电 上次报价 含税单价'],
where={'$and': [{'customer': {'$eq': '华东机电'}},
{'doc_type': {'$eq': '报价单'}}]},
n_results=5)四、版本管理与增量入库
贸易文档天然带版本:同一客户的报价单会随谈价多次改版,合同有修订稿与盖章版。入库层必须回答两个问题:旧版本要不要删、新版本怎么进来。实践做法是保留全部版本但默认只检索现行版——元数据中的 version 与 status 字段配合检索过滤,旧版本仅在下钻溯源时可见;文件落盘时按内容哈希去重,同一文件重复上传不产生重复切片;监听共享目录或邮件收件箱的变化做增量解析,避免每次全量重跑。这三个机制共同保证:检索结果的时效性在入库层就锁定,而不依赖下游模型判断哪份报价是最新的。
五、入库质量的四项验收指标
流水线跑通不等于可用,建议用四项指标验收:解析成功率——抽样两百份历史文档,统计正文完整抽取的比例;关键信息准确率——抽检客户名、金额、日期等字段的抽取结果;带出处命中率——用标准问题集测试,答案附带正确原文出处的比例;零结果率——查询日志中无任何返回的比例,应控制在 5% 以内并持续下降。前两项不达标时先修解析,不要急着换模型。
提醒:客户名单、报价与价格政策属于敏感经营数据,解析与检索全链路应部署在内网,向量库与 embedding 服务均不应调用外部公网接口。
上述入库层方案与上邦面向中小企业的私有 AI 知识库方案(https://aiwork.shangbon.com/ai-rag.html)的工程路径一致:先统一解析与元数据治理,再做检索与问答,全部组件均可私有化部署在企业内网服务器上。
参考来源
Apache Tika - a content analysis toolkit - Apache Tika 官网;Tika Server 官方文档(REST 接口说明) - Apache Tika 官网;python-docx 官方文档 - python-docx.readthedocs.io。