为什么下沉到边缘
在产线质检场景,云端推理会带来网络依赖与毫秒级到秒级延迟,且涉及影像数据出域合规。把模型部署到工控机、边缘盒子或 Jetson 等设备,可实现数据不出厂、离线运行、低延迟响应,并降低云端服务成本。ONNX Runtime 提供跨平台、跨硬件的推理引擎,是把训练框架模型落地到边缘的通用选择。
步骤一:导出 ONNX 模型
以 PyTorch 训练得到的模型为例,使用官方导出接口转为 ONNX 格式,便于在异构硬件上运行:
import torch
from models import DefectNet # 你的缺陷检测网络
model = DefectNet()
model.load_state_dict(torch.load('defect_net.pt'))
model.eval()
dummy = torch.randn(1, 3, 640, 640)
torch.onnx.export(
model, dummy, 'defect_net.onnx',
input_names=['images'], output_names=['output'],
opset_version=17, dynamic_axes={'images': {0: 'batch'}}
)
print('ONNX exported')
步骤二:用 ONNX Runtime 推理
在工控机上安装运行时后,即可加载模型并推理,无需 Python 深度学习框架完整栈:
import onnxruntime as ort
import numpy as np
# 优先启用硬件加速 providers
session = ort.InferenceSession(
'defect_net.onnx',
providers=['CUDAExecutionProvider', 'CPUExecutionProvider']
)
inputs = {'images': np.random.randn(1, 3, 640, 640).astype('float32')}
outs = session.run(None, inputs)
print('output shape', outs[0].shape)
步骤三:量化与离线部署
① 量化:对边缘算力受限设备,使用动态或静态量化压缩模型体积、降低延迟;
② 加速:Intel 设备配合 OpenVINO Execution Provider,NVIDIA 设备配合 TensorRT EP;
③ 离线:将 onnx 文件与 onnxruntime 包随应用打包,断网仍可推理;
④ 校验:上线前用真实产线样本比对云端与边缘输出一致性。
参考来源
Deploy ML Models on IoT and Edge Devices - ONNX Runtime 官方文档;加速端侧机器学习 - ONNX Runtime。