化工行业大量关键知识以 PDF、扫描件与 Word 形式存在:安全操作规程、工艺卡片、应急预案、物料安全说明书。据公开信息,化工企业文档版本多、更新频繁,一线人员查找某一装置的某项操作要求往往要翻数十页。把非结构化文档变成可检索的结构化知识,是化工 AI 落地的第一步,也是后续问答与辅助决策的数据底座。
一、为什么不能直接全文入库
上下文会被切碎:全文切块检索会把一条完整操作步骤拆散,召回时丢失前后约束,回答容易断章取义。
扫描件需先版面分析:PDF 扫描件的表格与多栏文本会被读成乱序字符,直接切词无意义,需先做版面与表格还原。
版本需归一:同一要求在不同文件名中内容相近,应按装置、工序、版本三类元数据统一归并,避免重复与冲突。
二、抽取链路:pdfplumber 版面切分
第一步用 pdfplumber 提取每页文本与表格,并按标题层级切分章节。以下示例读取 PDF 并把每一页文本按行收集,依赖 pip install pdfplumber:
import pdfplumber
pages = []
with pdfplumber.open('sop_反应器R101.pdf') as pdf:
for i, page in enumerate(pdf.pages):
text = page.extract_text() or ''
tables = page.extract_tables()
pages.append({'page': i + 1, 'text': text, 'tables': tables})
for p in pages[:3]:
print('第', p['page'], '页前 80 字:', p['text'][:80].replace(chr(10), ' '))三、本地大模型要素归一化
切分出的段落仍是非结构化文本,需用本地大模型映射为统一字段:装置、工序、操作要求、风险提示、依据条款。以下示例调用本机 Ollama 运行的 Qwen 模型做结构化抽取,依赖 pip install requests:
import requests, json as _json
PROMPT = ('请把下面这段规程抽成 JSON,字段为 device/step/action/risk/ref,'
'只输出 JSON:{text}')
def extract(text):
r = requests.post('http://127.0.0.1:11434/api/generate',
json={'model': 'qwen2.5:7b', 'prompt': PROMPT.format(text=text),
'stream': False}, timeout=60)
return _json.loads(r.json()['response'])
rec = extract(pages[0]['text'])
print(rec)四、写入向量库并按元数据过滤
归一后的记录写入本地向量库,检索时按装置与工序过滤,保证召回命中同装置同工序的条款。以下示例使用 Chroma,依赖 pip install chromadb:
import chromadb
client = chromadb.PersistentClient(path='./chem_sop')
col = client.get_or_create_collection('sop')
col.add(documents=[rec['action']],
metadatas=[{'device': rec['device'], 'step': rec['step'],
'risk': rec['risk'], 'ref': rec['ref']}],
ids=['R101-001'])
res = col.query(query_texts=['反应器R101 升温操作要求'],
where={'$and': [{'device': 'R101'}]}, n_results=3)
print(res['documents'])五、私有化边界
提醒:工艺参数与安全要求属于企业核心知识,模型与向量库应部署在企業内网,检索与生成环节不调用公网大模型接口;确需远程办公访问时通过 VPN 与账号权限控制,避免工艺底牌外泄。
参考来源
pdfplumber 官方文档与 API 参考 - pdfplumber 项目文档(readthedocs);MinerU 开源文档智能提取项目 - 上海人工智能实验室 OpenDataLab;Ollama 本地大模型运行官方文档 - Ollama 项目主页。