欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

课堂录音本地转写与知识点摘要:基于 Whisper 与 LangChain 的教学助手实践

上邦 AI 工程团队2026-09-11阅读 约 8 分钟
教师复盘公开课、学生整理听课笔记都面临录音长、整理慢的痛点。本文给出可复现方案:用本地 Whisper 将课堂录音转写为文本,再用 LangChain 摘要链抽取知识点与课后待办,全程可离线运行、保护师生隐私,并附模型选型与长音频分段处理建议。

场景与选型

课堂录音往往长达数十分钟,人工整理耗时。采用本地部署的 OpenAI Whisper 做语音识别,可离线运行、避免音频上传隐私风险;识别结果再交给大语言模型做结构化摘要。本文以 LangChain 的摘要链为例,演示如何把转写文本压缩为知识点清单。

步骤一:本地转写录音

先安装 Whisper 与 ffmpeg,再对音频文件转写。中文场景建议指定 language='zh':
pip install openai-whisper

# 命令行直接转写
whisper lesson.mp3 --model medium --language zh --output_format txt

# 或在 Python 中调用
import whisper
model = whisper.load_model('medium')
result = model.transcribe('lesson.mp3', language='zh')
text = result['text']

步骤二:用 LangChain 抽取知识点

将长文本切分后交给摘要链,输出结构化要点。以下示例把整堂课压缩为“核心知识点 + 课后待办”:
from langchain.chains import MapReduceDocumentsChain, ReduceDocumentsChain
from langchain.text_splitter import CharacterTextSplitter
from langchain.chains.llm import LLMChain
from langchain.prompts import PromptTemplate
from langchain_community.llms import Ollama

llm = Ollama(model='qwen2.5')
splitter = CharacterTextSplitter(chunk_size=2000, chunk_overlap=200)
docs = splitter.create_documents([text])

map_prompt = PromptTemplate.from_template(
    '请提取以下课堂片段的知识点,逐条列出:\n{text}'
)
reduce_prompt = PromptTemplate.from_template(
    '合并下列知识点,去重并归类:\n{text}'
)
map_chain = LLMChain(llm=llm, prompt=map_prompt)
reduce_chain = ReduceDocumentsChain(
    combine_documents_chain=LLMChain(llm=llm, prompt=reduce_prompt),
    collapse_documents_chain=LLMChain(llm=llm, prompt=reduce_prompt)
)
chain = MapReduceDocumentsChain(
    llm_chain=map_chain, reduce_documents_chain=reduce_chain
)
print(chain.run(docs))

落地注意

说明:录音涉及师生声音与隐私,须取得授权并在隔离环境处理;模型输出仅为辅助,知识点准确性由教师最终确认。中等规模模型在消费级 GPU 即可运行,长音频建议分段转写。

参考来源

Whisper: Robust Speech Recognition via Large-Scale Weak Supervision - OpenAI(GitHub);LangChain 官方文档 - LangChain。
相关标签:教育AIWhisper语音转写LangChai教学助手

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案