欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用 LLaMA-Factory 微调学科助教大模型:从通用底座到校园垂类助手的可复现实践

上邦 AI 工程团队2026-09-17阅读 约 10 分钟
通用大模型答不准学科细节、容易编造公式与定理。本文给出一条可复现的校园垂类助教微调链路:用LLaMA-Factory以LoRA对开源模型做有监督微调(SFT),把教材习题、知识点讲解与答疑记录转为alpaca格式语料,再导出为本地推理服务。适合学校在隔离环境搭建不依赖公网的学科助手。

问题:通用模型答不准,还爱编

让学生直接问通用大模型,常遇到两类问题:一是对本地教材的术语、进度与例题不熟,给出正确但答非所问的泛泛之谈;二是遇到公式、定理与年份时自信地编造。把模型微调成懂本校课程的学科助教,比反复调提示词更治本,且语料来自自有教学资料,数据可不出校。

第一步:把教学资料整理为alpaca语料

LLaMA-Factory以instruction/input/output三元组训练。下面用一段Python把知识点+讲解转为训练样本;真实项目中可由教师审核后的习题解析批量生成:
import json

def make_sample(topic, explain, question, answer):
    return {
        'instruction': f'请用初中生能理解的语言讲解:{topic}',
        'input': '',
        'output': explain
    }, {
        'instruction': f'请解答并给出步骤:{question}',
        'input': '',
        'output': answer
    }

samples = [
    make_sample('勾股定理', '直角三角形中,两直角边平方之和等于斜边平方。',
                '已知直角边3和4,求斜边', '由 a^2+b^2=c^2 得 c=5。')
]
with open('subject_sft.json', 'w', encoding='utf-8') as f:
    json.dump([s for pair in samples for s in pair], f, ensure_ascii=False, indent=2)
print('生成样本数:', len(samples) * 2)
若已有大量答疑记录,可先用规则或轻量模型抽取问题-答案对,再经教师抽检校正;语料质量比数量更影响最终效果。

第二步:用LLaMA-Factory做LoRA微调

将样本整理为dataset_info.json可识别的数据集,用LoRA在单卡上微调,显存占用远低于全参训练。下面是一份可直接套用的训练配置:
# examples/subject_sft.yaml
stage: sft
finetuning_type: lora
lora_target: all
lora_rank: 8

model_name_or_path: Qwen/Qwen2.5-3B-Instruct
dataset: subject_sft
cutoff_len: 2048
max_samples: 2000
per_device_train_batch_size: 4
learning_rate: 5e-5
num_train_epochs: 3
output_dir: saves/subject-tutor-sft

# 启动训练
llamafactory-cli train examples/subject_sft.yaml
提醒:训练与推理尽量在校园内网或隔离环境完成,学生数据与未公开的试卷、题库不出行;LoRA权重体积小,便于按学科分别保存与热插拔。

第三步:导出并接入本地问答

训练完成后把LoRA合并导出为独立模型,用vLLM或Ollama在本地提供推理服务,前端接校园知识库做检索增强,让回答既能引用教材原文又能给出步骤:
# 合并 LoRA 为可部署模型
llamafactory-cli export examples/subject_export.yaml

# 或用 Ollama 直接跑基础模型 + 前端 RAG(轻量方案)
# ollama run qwen2.5:3b
把模型输出与教材章节、知识点图谱对齐,对涉及成绩、评价的结论强制要求给出出处(页码或章节),无法溯源时提示存疑,避免模型在关键教学环节误导学生。

落地边界与建议

① 先从单一学科、单一年级试点,积累足量经教师校正的语料再扩科;
② 模型定位为预习、答疑与练习辅助,关键评价与教学决策由教师把握;
③ 涉及未成年人数据须依规脱敏与权限管理,禁用公网API。
说明:本文为工程方法参考,训练效果依赖语料质量与人工校正;命令参数以LLaMA-Factory版本官方文档为准。

参考来源

LLaMA-Factory 开源项目文档(训练与导出) - GitHub(hiyouga/LLaMA-Factory);Hugging Face Transformers 文档(模型微调基础) - huggingface.co/docs/transformers;PyTorch 官方文档(张量与自动求导) - pytorch.org。
相关标签:教育AI大模型微调LLaMA-FactoryLoRA学科助教

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案