问题:通用模型答不准,还爱编
让学生直接问通用大模型,常遇到两类问题:一是对本地教材的术语、进度与例题不熟,给出正确但答非所问的泛泛之谈;二是遇到公式、定理与年份时自信地编造。把模型微调成懂本校课程的学科助教,比反复调提示词更治本,且语料来自自有教学资料,数据可不出校。
第一步:把教学资料整理为alpaca语料
LLaMA-Factory以instruction/input/output三元组训练。下面用一段Python把知识点+讲解转为训练样本;真实项目中可由教师审核后的习题解析批量生成:
import json
def make_sample(topic, explain, question, answer):
return {
'instruction': f'请用初中生能理解的语言讲解:{topic}',
'input': '',
'output': explain
}, {
'instruction': f'请解答并给出步骤:{question}',
'input': '',
'output': answer
}
samples = [
make_sample('勾股定理', '直角三角形中,两直角边平方之和等于斜边平方。',
'已知直角边3和4,求斜边', '由 a^2+b^2=c^2 得 c=5。')
]
with open('subject_sft.json', 'w', encoding='utf-8') as f:
json.dump([s for pair in samples for s in pair], f, ensure_ascii=False, indent=2)
print('生成样本数:', len(samples) * 2)若已有大量答疑记录,可先用规则或轻量模型抽取问题-答案对,再经教师抽检校正;语料质量比数量更影响最终效果。
第二步:用LLaMA-Factory做LoRA微调
将样本整理为dataset_info.json可识别的数据集,用LoRA在单卡上微调,显存占用远低于全参训练。下面是一份可直接套用的训练配置:
# examples/subject_sft.yaml
stage: sft
finetuning_type: lora
lora_target: all
lora_rank: 8
model_name_or_path: Qwen/Qwen2.5-3B-Instruct
dataset: subject_sft
cutoff_len: 2048
max_samples: 2000
per_device_train_batch_size: 4
learning_rate: 5e-5
num_train_epochs: 3
output_dir: saves/subject-tutor-sft
# 启动训练
llamafactory-cli train examples/subject_sft.yaml提醒:训练与推理尽量在校园内网或隔离环境完成,学生数据与未公开的试卷、题库不出行;LoRA权重体积小,便于按学科分别保存与热插拔。
第三步:导出并接入本地问答
训练完成后把LoRA合并导出为独立模型,用vLLM或Ollama在本地提供推理服务,前端接校园知识库做检索增强,让回答既能引用教材原文又能给出步骤:
# 合并 LoRA 为可部署模型
llamafactory-cli export examples/subject_export.yaml
# 或用 Ollama 直接跑基础模型 + 前端 RAG(轻量方案)
# ollama run qwen2.5:3b把模型输出与教材章节、知识点图谱对齐,对涉及成绩、评价的结论强制要求给出出处(页码或章节),无法溯源时提示存疑,避免模型在关键教学环节误导学生。
落地边界与建议
① 先从单一学科、单一年级试点,积累足量经教师校正的语料再扩科;
② 模型定位为预习、答疑与练习辅助,关键评价与教学决策由教师把握;
③ 涉及未成年人数据须依规脱敏与权限管理,禁用公网API。
说明:本文为工程方法参考,训练效果依赖语料质量与人工校正;命令参数以LLaMA-Factory版本官方文档为准。
参考来源
LLaMA-Factory 开源项目文档(训练与导出) - GitHub(hiyouga/LLaMA-Factory);Hugging Face Transformers 文档(模型微调基础) - huggingface.co/docs/transformers;PyTorch 官方文档(张量与自动求导) - pytorch.org。