一、痛点与方案
课件多以图片或扫描件存在,传统关键词检索失效。借助本地视觉大模型,可把每一页讲义图解析为标题、要点、公式与例题等结构化字段,再写入向量库,支持学生按自然语言提问、按知识点回溯。整套流程可跑在教研室内网,满足数据不出校要求。
二、实现步骤
图像解析:用视觉大模型对每张讲义图生成结构化 Markdown。
切分入库:按知识点切片,用本地嵌入模型向量化存入 Chroma。
问答检索:学生提问时先检索相关知识点,再交大模型组织答案并注明出处页。
三、可复现代码
先拉取视觉模型:
ollama pull llama3.2-vision解析单页讲义图:
import ollama, base64
def img_to_md(path):
b64 = base64.b64encode(open(path, 'rb').read()).decode()
r = ollama.chat(model='llama3.2-vision',
messages=[{'role':'user','content':'请将这张讲义图整理为结构化Markdown,含标题、要点、公式、例题:',
'images':[b64]}])
return r['message']['content']
print(img_to_md('lecture_01.png'))构建知识点检索(需安装 chromadb):
import chromadb
client = chromadb.Client()
col = client.create_collection('lectures')
col.add(ids=['p1'], documents=['牛顿第二定律 F=ma,适用于惯性参考系'], metadatas=[{'page':1}])
hits = col.query(query_texts=['力与加速度的关系'], n_results=1)
print(hits)提醒:视觉模型对复杂公式与手写体识别仍有误差,关键知识点须教师复核;涉及未成年人数据应坚持最小必要与本地化处理。
参考来源
Ollama 官方文档与模型库(llama3.2-vision) - Ollama;Chroma 向量数据库官方文档 - Chroma;ColPali: Efficient Document Retrieval with Vision Language Models - arXiv。