欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用 LLaMA-Factory 微调企业专属大模型:LoRA 实战指南

上邦 AI 工程团队2026-08-25阅读 12 分钟
通用模型不懂企业“行话”,微调是常用解法。本文以 LLaMA-Factory 为例,从环境准备、Alpaca 数据准备到 LoRA 训练、模型导出,给出完整可复现的命令流程,适合想自建行业模型的团队参考。

为什么需要微调

通用大模型对行业术语、企业特有表达往往“似懂非懂”。与其在提示词里反复解释,不如用少量业务数据做一次 LoRA 微调,让模型学会企业的“行话”。LoRA 只训练一小部分参数,显存占用低、训练快,是中小团队最常用的微调方式。

Step 1:环境准备

需要一张显存充足的 GPU(7B 模型做 LoRA 微调建议 24GB 以上),并安装 LLaMA-Factory:
# 克隆项目并安装依赖(CUDA 环境示例)
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch]"

# 验证安装
llamafactory-cli version

Step 2:准备训练数据

LLaMA-Factory 支持 Alpaca 格式 JSON,结构为“指令-输入-输出”。以企业设备维修问答为例:
[{
  "instruction": "设备报错 E201 该怎么处理?",
  "input": "设备型号:CNC-550",
  "output": "E201 通常表示主轴过载。先检查切削参数是否超限,再查看主轴电流曲线,确认后按规程复位。"
},{
  "instruction": "什么是预防性维护?",
  "input": "",
  "output": "预防性维护指按计划对设备进行检查与保养,在故障发生前消除隐患,减少非计划停机。"
}]
将数据保存为 data/enterprise_faq.json,并在 data/dataset_info.json 中注册数据集:新增一行 "enterprise_faq": {"file_name": "enterprise_faq.json"}。

Step 3:LoRA 训练

llamafactory-cli train \
  --model_name_or_path Qwen/Qwen2.5-7B-Instruct \
  --stage sft \
  --finetuning_type lora \
  --dataset enterprise_faq \
  --template qwen \
  --output_dir ./output/lora-checkpoint \
  --num_train_epochs 3 \
  --per_device_train_batch_size 2 \
  --learning_rate 5e-5 \
  --lora_rank 16
训练时可另开终端用 TensorBoard 观察 loss 曲线:tensorboard --logdir output。数据量不大时,一般几十分钟到数小时即可完成。

Step 4:导出合并模型并验证

推理前建议先把 LoRA 权重合并进原模型再导出:
llamafactory-cli export \
  --model_name_or_path Qwen/Qwen2.5-7B-Instruct \
  --adapter_name_or_path ./output/lora-checkpoint \
  --template qwen \
  --finetuning_type lora \
  --export_dir ./merged-model

# 用合并后的模型对话验证
llamafactory-cli chat \
  --model_name_or_path ./merged-model \
  --template qwen

注意事项

① 数据质量比数量重要:几十条高质量问答往往胜过上千条重复数据;
② 防止过拟合:训练轮数过多会让模型只会“背答案”,建议从 2-3 轮起步;
③ 业务数据先脱敏,涉密内容全程在私有化环境处理。
相关标签:微调LoRALLaMA-Factory实操教程

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案