为什么需要微调
通用大模型对行业术语、企业特有表达往往“似懂非懂”。与其在提示词里反复解释,不如用少量业务数据做一次 LoRA 微调,让模型学会企业的“行话”。LoRA 只训练一小部分参数,显存占用低、训练快,是中小团队最常用的微调方式。
Step 1:环境准备
需要一张显存充足的 GPU(7B 模型做 LoRA 微调建议 24GB 以上),并安装 LLaMA-Factory:
# 克隆项目并安装依赖(CUDA 环境示例)
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch]"
# 验证安装
llamafactory-cli versionStep 2:准备训练数据
LLaMA-Factory 支持 Alpaca 格式 JSON,结构为“指令-输入-输出”。以企业设备维修问答为例:
[{
"instruction": "设备报错 E201 该怎么处理?",
"input": "设备型号:CNC-550",
"output": "E201 通常表示主轴过载。先检查切削参数是否超限,再查看主轴电流曲线,确认后按规程复位。"
},{
"instruction": "什么是预防性维护?",
"input": "",
"output": "预防性维护指按计划对设备进行检查与保养,在故障发生前消除隐患,减少非计划停机。"
}]将数据保存为 data/enterprise_faq.json,并在 data/dataset_info.json 中注册数据集:新增一行 "enterprise_faq": {"file_name": "enterprise_faq.json"}。
Step 3:LoRA 训练
llamafactory-cli train \
--model_name_or_path Qwen/Qwen2.5-7B-Instruct \
--stage sft \
--finetuning_type lora \
--dataset enterprise_faq \
--template qwen \
--output_dir ./output/lora-checkpoint \
--num_train_epochs 3 \
--per_device_train_batch_size 2 \
--learning_rate 5e-5 \
--lora_rank 16训练时可另开终端用 TensorBoard 观察 loss 曲线:
tensorboard --logdir output。数据量不大时,一般几十分钟到数小时即可完成。Step 4:导出合并模型并验证
推理前建议先把 LoRA 权重合并进原模型再导出:
llamafactory-cli export \
--model_name_or_path Qwen/Qwen2.5-7B-Instruct \
--adapter_name_or_path ./output/lora-checkpoint \
--template qwen \
--finetuning_type lora \
--export_dir ./merged-model
# 用合并后的模型对话验证
llamafactory-cli chat \
--model_name_or_path ./merged-model \
--template qwen注意事项
① 数据质量比数量重要:几十条高质量问答往往胜过上千条重复数据;
② 防止过拟合:训练轮数过多会让模型只会“背答案”,建议从 2-3 轮起步;
③ 业务数据先脱敏,涉密内容全程在私有化环境处理。