欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用仿真合成数据破解工业缺陷样本不足:Sim2Real 训练流水线实践

上邦 AI 工程团队2026-10-16阅读 约 8 分钟
工业质检最大的瓶颈常是缺陷样本稀缺且标注昂贵。本文给出一条可复现的 Sim2Real 流水线:用程序化缺陷注入与物理仿真在良品图上合成训练样本,经域随机化缩小仿真与真实的差距,并附可运行的 Python 示例,说明其在小样本质检场景的落地路径与注意点。

瓶颈:缺陷样本天然稀缺

在产线质检中,良品很多、缺陷很少,且很多缺陷(如细微划痕、偶发装配错漏)难以提前收集。这导致有监督模型样本不足、泛化差。无监督方法虽可用良品建模,但对全新类别异常的识别有限。合成数据(Synthetic Data)提供第三种选择:在已知良品上程序化生成缺陷,把仿真分布迁移到真实分布(Sim2Real)。

流水线设计:注入、随机化、训练

核心三步。第一步,缺陷注入:在良品图像上叠加程序化生成的缺陷 patch(划痕、污点、缺件、错位),保留几何与光照真实感;第二步,域随机化:在合成阶段随机化背景、光照、相机噪声、材质纹理,迫使模型学习缺陷本质特征而非表面风格;第三步,混合训练:用合成数据预训练,再用少量真实标注微调,形成 Sim2Real 闭环。

可复现示例:程序化缺陷注入

下面用纯 Python(NumPy 加 PIL)演示在良品图上注入一处随机划痕,作为合成数据的起点:
import numpy as np
from PIL import Image, ImageDraw

def inject_scratch(img, n=1):
    arr = np.array(img.convert('RGB')).astype('float32')
    h, w = arr.shape[:2]
    draw = ImageDraw.Draw(img)
    for _ in range(n):
        x0, y0 = np.random.randint(0, w), np.random.randint(0, h)
        x1, y1 = x0 + np.random.randint(-60, 60), y0 + np.random.randint(-60, 60)
        shade = int(np.random.randint(-90, -30))
        draw.line([(x0, y0), (x1, y1)], fill=(shade, shade, shade), width=np.random.randint(1, 3))
    return img

good = Image.open('good_part.png')
aug = inject_scratch(good, n=2)
aug.save('synthetic_defect.png')
print('synthetic sample saved')
该示例仅为起点。工业级方案通常在渲染引擎(如 Omniverse Replicator、Blender)中生成带物理光照与遮挡的合成图像,并辅以 Copy-Paste 增强,再用域随机化提升真实泛化。

落地注意点

① 缺陷形态要贴合真实工艺,避免合成分布与产线分布偏差过大。
② 用真实良品做分布校验,监控合成样本与真实样本在特征空间的距离。
③ 保留人类抽检闭环,合成数据不能替代真实缺陷确认。
合成数据能缓解样本不足,但无法凭空创造产线从未出现的关键缺陷类别;对于安全相关检测,仍须以真实样本验证与人工复核兜底。

参考来源

国内AI创新观察:联想集团的自研工业模型与智能体助力高端制造 - 中国产业经济信息网
NVIDIA Omniverse Replicator 开发者文档 - NVIDIA
CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features - arXiv
相关标签:合成数据Sim2Real工业视觉缺陷检测小样本

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案