为什么化工企业适合本地知识库
化工企业的安全规程、MSDS(化学品安全技术说明书)、岗位操作法、应急预案往往分散在 PDF、Word 与纸质卡片中。一线员工在巡检或处置异常时,需要快速、准确地查到对应条款,而把这类资料上传到公共大模型存在数据出境与商业秘密泄露风险。本地部署让模型运行在企业内网服务器,资料不出厂,回答可溯源到具体文档。
整体架构
方案由四部分构成:① 本地模型(Ollama 运行 qwen2.5 等开源模型);② 文档切片与向量化(LangChain 文本分割加中文 embedding);③ 向量库(Chroma 持久化);④ 检索增强生成(RetrievalQA 串联检索与生成)。员工提问时,系统先从本企业资料库检索相关片段,再交给本地模型生成带出处的回答。
环境准备与模型拉取
在已安装 Ollama 的服务器上执行:
ollama pull qwen2.5:7b
ollama pull nomic-embed-textnomic-embed-text 用于中文文本向量化,qwen2.5 负责理解与生成。显存紧张时可选用更小规格。
构建企业私有知识库
以下 Python 片段演示加载 MSDS 与操作法文档、切片并写入 Chroma:
from langchain_community.document_loaders import DirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_ollama import OllamaEmbeddings
loader = DirectoryLoader('./chem_docs', glob='**/*.pdf')
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=600, chunk_overlap=80)
chunks = splitter.split_documents(docs)
embeddings = OllamaEmbeddings(model='nomic-embed-text')
vectordb = Chroma.from_documents(chunks, embeddings, persist_directory='./chroma_chem')
vectordb.persist()接入检索增强问答
用 RetrievalQA 把检索与生成串起来,并开启返回来源:
from langchain_ollama import OllamaLLM
from langchain.chains import RetrievalQA
llm = OllamaLLM(model='qwen2.5:7b')
qa = RetrievalQA.from_chain_type(
llm, retriever=vectordb.as_retriever(search_kwargs={'k': 4}),
return_source_documents=True)
result = qa.invoke({'query': '甲苯泄漏的应急处置步骤是什么?'})
print(result['result'])
for d in result['source_documents']:
print('来源:', d.metadata.get('source'))由此可确保每一条回答都能追溯到具体文档,满足化工行业对可审计、可溯源的要求。
落地建议
① 先归集 MSDS、岗位操作法、应急预案三类高频文档,跑通端到端流程;
② 由安全与工艺部门对回答做抽检校准,建立人工复核机制;
③ 限定访问权限与审计日志,敏感资料不出域,符合行业合规要求。
说明:本文为工程参考,涉及安全生产的处置仍应以官方规程与专业人员判断为准。
参考来源
Ollama 官方文档 - Ollama;LangChain 官方文档 - LangChain;两部门关于联合实施2026年模数共振行动的通知 - 工业和信息化部、国家数据局。