欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

工业边缘 AI 推理部署实战:用 ONNX Runtime 把缺陷检测模型搬上工控机

上邦 AI 工程团队2026-09-11阅读 约 9 分钟
工厂现场常受网络与延迟约束,将缺陷检测模型下沉到边缘工控机是可靠路径。本文给出可复现步骤:把 PyTorch/YOLO 模型导出为 ONNX,再用 ONNX Runtime 在 Windows/Linux 工控机上做高性能推理,并附量化、硬件加速与离线部署要点,帮助产线质检实现低延迟、数据不出厂。

为什么下沉到边缘

在产线质检场景,云端推理会带来网络依赖与毫秒级到秒级延迟,且涉及影像数据出域合规。把模型部署到工控机、边缘盒子或 Jetson 等设备,可实现数据不出厂、离线运行、低延迟响应,并降低云端服务成本。ONNX Runtime 提供跨平台、跨硬件的推理引擎,是把训练框架模型落地到边缘的通用选择。

步骤一:导出 ONNX 模型

以 PyTorch 训练得到的模型为例,使用官方导出接口转为 ONNX 格式,便于在异构硬件上运行:
import torch
from models import DefectNet  # 你的缺陷检测网络

model = DefectNet()
model.load_state_dict(torch.load('defect_net.pt'))
model.eval()

dummy = torch.randn(1, 3, 640, 640)
torch.onnx.export(
    model, dummy, 'defect_net.onnx',
    input_names=['images'], output_names=['output'],
    opset_version=17, dynamic_axes={'images': {0: 'batch'}}
)
print('ONNX exported')

步骤二:用 ONNX Runtime 推理

在工控机上安装运行时后,即可加载模型并推理,无需 Python 深度学习框架完整栈:
import onnxruntime as ort
import numpy as np

# 优先启用硬件加速 providers
session = ort.InferenceSession(
    'defect_net.onnx',
    providers=['CUDAExecutionProvider', 'CPUExecutionProvider']
)
inputs = {'images': np.random.randn(1, 3, 640, 640).astype('float32')}
outs = session.run(None, inputs)
print('output shape', outs[0].shape)

步骤三:量化与离线部署

① 量化:对边缘算力受限设备,使用动态或静态量化压缩模型体积、降低延迟;
② 加速:Intel 设备配合 OpenVINO Execution Provider,NVIDIA 设备配合 TensorRT EP;
③ 离线:将 onnx 文件与 onnxruntime 包随应用打包,断网仍可推理;
④ 校验:上线前用真实产线样本比对云端与边缘输出一致性。

参考来源

Deploy ML Models on IoT and Edge Devices - ONNX Runtime 官方文档;加速端侧机器学习 - ONNX Runtime。
相关标签:工业AI边缘计算ONNX缺陷检测模型部署

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案