为什么要在校园内部署本地问答
云侧大模型虽然强大,但把学生作业、讲义、内部制度上传到第三方存在数据出境与隐私风险,且按量计费、依赖网络。本地部署方案让模型运行在校园服务器或教研室工作站上,数据不出校,回答可溯源到具体文档,更适合教学与教务场景。
整体架构
方案由四部分构成:① 本地模型(Ollama 拉取 qwen2.5:7b 或更小模型);② 文档切片与向量化(LangChain 文本分割加中文 embedding);③ 向量库(Chroma 持久化);④ 检索增强生成(RetrievalQA 串联检索与生成)。学生提问时,系统先从本校资料库检索相关片段,再交给本地模型生成带出处的中文回答。
环境准备与模型拉取
在已安装 Ollama 的 Linux 服务器上执行:
ollama pull qwen2.5:7b
ollama pull nomic-embed-textnomic-embed-text 用于把中文文本转为向量,qwen2.5 负责理解与生成。显存不足时可选 qwen2.5:3b 或 qwen2.5:1.5b 等更小规格。
构建本地知识库
以下 Python 片段演示用 LangChain 加载 PDF 或 Markdown 讲义、切片并写入 Chroma:
from langchain_community.document_loaders import DirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_ollama import OllamaEmbeddings
loader = DirectoryLoader('./course_docs', glob='**/*.pdf')
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=80)
chunks = splitter.split_documents(docs)
embeddings = OllamaEmbeddings(model='nomic-embed-text')
vectordb = Chroma.from_documents(chunks, embeddings, persist_directory='./chroma_db')
vectordb.persist()接入检索增强问答
用 RetrievalQA 把检索与生成串起来,并开启返回来源:
from langchain_ollama import OllamaLLM
from langchain.chains import RetrievalQA
llm = OllamaLLM(model='qwen2.5:7b')
qa = RetrievalQA.from_chain_type(
llm, retriever=vectordb.as_retriever(search_kwargs={'k': 4}),
return_source_documents=True)
result = qa.invoke({'query': '补考申请流程是什么?'})
print(result['result'])
for d in result['source_documents']:
print('来源:', d.metadata.get('source'))开启 return_source_documents 后,每次回答都能回溯到具体文件与页码,便于师生核对,也降低模型编造的风险。
落地建议
① 先用校规、选课办法、奖助政策等结构化文档做最小闭环,验证效果;
② 对回答质量要求高的场景叠加人工审核或答案置信度标注;
③ 定期增量更新知识库,保证学期变动(如课表、政策)及时生效。
说明:模型规模与回答质量受硬件与语料影响,本方案为工程参考,不代表教学有效性承诺。
参考来源
Ollama 官方文档 - ollama.com;LangChain 官方文档 - python.langchain.com;Chroma 向量数据库文档 - docs.trychroma.com。