场景与目标
中小企业的人事、财务、行政制度往往散落在共享盘的 docx、pdf 与纸质扫描件里,员工查一条报销标准要翻十几份文件。制度知识库的目标很具体:员工用一句自然语言提问,系统返回对应的制度条款与出处文件。本文给出一套可复现的开源方案:LibreOffice 统一格式、Python 解析切片、Chroma 存向量、Ollama 本地跑 Qwen 模型问答,全程不出内网。
步骤一:统一格式并提取文本
制度文件格式混杂是第一道坎。建议先用 LibreOffice 命令行把 doc/docx/wps 批量转成统一格式,再由 Python 解析:
soffice --headless --convert-to docx ./制度/*.doc --outdir ./制度/docx/
# Python 侧解析
from docx import Document
def read_docx(path):
doc = Document(path)
paras = [p.text.strip() for p in doc.paragraphs if p.text.strip()]
return paras
步骤二:按章节结构切片
制度文件层级性强(章-节-条),直接按固定字数切片会把一条制度拦腰截断。推荐按标题层级切分:以「第X章」「第X条」等正则作为边界,保证每个片段是一条完整制度:
import re
def split_by_clause(paras):
chunks, buf = [], []
pat = re.compile(r'^(第[一二三四五六七八九十百]+[章条款]|附则)')
for p in paras:
if pat.match(p) and buf:
chunks.append('\n'.join(buf)); buf = [p]
else:
buf.append(p)
if buf:
chunks.append('\n'.join(buf))
return chunks
步骤三:入库与权限分级
并非所有制度对全员可见(如薪酬、绩效细则往往限管理层)。利用 Chroma 的 metadata 过滤能力,在入库时打上部门与可见级别标签,检索时按查询者身份过滤:
import chromadb
client = chromadb.PersistentClient(path='./kb_db')
col = client.get_or_create_collection('policies')
col.add(
documents=chunks,
metadatas=[{'dept': 'hr', 'level': 'all'}] * len(chunks),
ids=[f'p{i}' for i in range(len(chunks))]
)
# 检索时按权限过滤
res = col.query(query_texts=['出差住宿报销标准'], n_results=5,
where={'dept': 'hr'})
权限分级要在检索层做,而不是靠前端隐藏入口:向量库的 where 过滤是硬边界,前端菜单只是软引导。两者缺一不可,但检索层过滤优先。
步骤四:本地模型问答
用 Ollama 在内网服务器上运行 Qwen 系列模型做生成,把检索到的制度条款作为上下文,并要求回答标注出处条款:
import requests, json
def ask(question, context):
prompt = f'仅依据以下制度条款回答问题,并注明条款出处。\n制度条款:\n{context}\n问题:{question}'
r = requests.post('http://127.0.0.1:11434/api/generate',
json={'model': 'qwen2.5:7b', 'prompt': prompt, 'stream': False})
return json.loads(r.text)['response']
上线检查清单
① 文档清理:作废制度归档移出,只保留现行有效版本,避免新旧版本同时命中;
② 出处可溯:每条答案附带来源文件名与条款号,员工可打开原文核对;
③ 冷启动:先入库 HR、财务两类高频制度试运行两周,收集未命中问题清单后再扩库。
这套方案的每一层(格式转换、解析切片、向量库、本地模型)都由开源组件构成,企业可以完全自主搭建。如果希望由专业团队承接文档治理、权限设计与私有化部署的整体落地,可参考上邦的私有 AI 知识库方案(https://aiwork.shangbon.com/ai-rag.html),将上述开源组件组合为开箱即用的内网知识库。
参考来源
Ollama 官方文档 - Ollama;Chroma 官方文档 - Chroma(GitHub);python-docx 文档 - python-docx 项目。