欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用 Ollama + LangChain 搭建校园本地知识库问答助手:数据不出校

上邦 AI 工程团队2026-09-06阅读 约 10 分钟
本文给出一条可复现的技术路线:用 Ollama 本地运行 qwen2.5 等开源模型,配合 LangChain 与 Chroma 向量库,将课程讲义、校规制度等文档切片建库,搭建校园专属 RAG 问答助手。全部推理在校园内网完成,避免学生与教务数据外泄,适合高校与职业院校落地。

为什么要在校园内部署本地问答

云侧大模型虽然强大,但把学生作业、讲义、内部制度上传到第三方存在数据出境与隐私风险,且按量计费、依赖网络。本地部署方案让模型运行在校园服务器或教研室工作站上,数据不出校,回答可溯源到具体文档,更适合教学与教务场景。

整体架构

方案由四部分构成:① 本地模型(Ollama 拉取 qwen2.5:7b 或更小模型);② 文档切片与向量化(LangChain 文本分割加中文 embedding);③ 向量库(Chroma 持久化);④ 检索增强生成(RetrievalQA 串联检索与生成)。学生提问时,系统先从本校资料库检索相关片段,再交给本地模型生成带出处的中文回答。

环境准备与模型拉取

在已安装 Ollama 的 Linux 服务器上执行:
ollama pull qwen2.5:7b
ollama pull nomic-embed-text
nomic-embed-text 用于把中文文本转为向量,qwen2.5 负责理解与生成。显存不足时可选 qwen2.5:3b 或 qwen2.5:1.5b 等更小规格。

构建本地知识库

以下 Python 片段演示用 LangChain 加载 PDF 或 Markdown 讲义、切片并写入 Chroma:
from langchain_community.document_loaders import DirectoryLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_ollama import OllamaEmbeddings

loader = DirectoryLoader('./course_docs', glob='**/*.pdf')
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=80)
chunks = splitter.split_documents(docs)

embeddings = OllamaEmbeddings(model='nomic-embed-text')
vectordb = Chroma.from_documents(chunks, embeddings, persist_directory='./chroma_db')
vectordb.persist()

接入检索增强问答

用 RetrievalQA 把检索与生成串起来,并开启返回来源:
from langchain_ollama import OllamaLLM
from langchain.chains import RetrievalQA

llm = OllamaLLM(model='qwen2.5:7b')
qa = RetrievalQA.from_chain_type(
    llm, retriever=vectordb.as_retriever(search_kwargs={'k': 4}),
    return_source_documents=True)

result = qa.invoke({'query': '补考申请流程是什么?'})
print(result['result'])
for d in result['source_documents']:
    print('来源:', d.metadata.get('source'))
开启 return_source_documents 后,每次回答都能回溯到具体文件与页码,便于师生核对,也降低模型编造的风险。

落地建议

① 先用校规、选课办法、奖助政策等结构化文档做最小闭环,验证效果;
② 对回答质量要求高的场景叠加人工审核或答案置信度标注;
③ 定期增量更新知识库,保证学期变动(如课表、政策)及时生效。
说明:模型规模与回答质量受硬件与语料影响,本方案为工程参考,不代表教学有效性承诺。

参考来源

Ollama 官方文档 - ollama.com;LangChain 官方文档 - python.langchain.com;Chroma 向量数据库文档 - docs.trychroma.com。
相关标签:本地大模型RAG校园知识库Ollama教育AI

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案