一、为什么选无监督
产线上的良品图片取之不尽,但划痕、脏污、装配缺失等缺陷样本极其稀少,且每类缺陷都要人工标注,成本随品类线性上涨。无监督方法的核心优势是冷启动:只用正常样本即可建模,上线快、覆盖新缺陷类型时无需重新标注。
二、PatchCore 原理(精简版)
PatchCore 用预训练图像模型(如 ImageNet 上的 WideResNet-50)把图像切成若干局部 patch 并提取特征,再从全部正常 patch 中采样出一个最具代表性的记忆库。推理时,对测试图的每个 patch 特征,在记忆库里找最近邻距离,距离越大越可能是异常;把所有 patch 的距离上采样回原图,就得到缺陷定位热力图。
三、可复现代码
先准备依赖与正常样本目录(这里用最简流程示意,真实训练请用 MVTec AD 的 good 类图片):
import torch, torchvision, numpy as np, cv2
from torchvision.models import wide_resnet50_2
# 1) 加载预训练骨干,只取特征
m = wide_resnet50_2(pretrained=True)
feat_layers = [m.layer1[-1], m.layer2[-1], m.layer3[-1]]
m.eval()
def extract_patches(img_path):
x = torchvision.transforms.ToTensor()(cv2.imread(img_path)[..., ::-1])
x = torchvision.transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])(x)
with torch.no_grad():
f = [L(x.unsqueeze(0)) for L in feat_layers]
return [p.flatten(2).transpose(1,2) for p in f] # 每个 patch 一个向量
# 2) 用正常样本构建记忆库(示意,真实需做采样降冗余)
memory = []
for p in normal_image_paths:
for pf in extract_patches(p):
memory.append(pf)
memory = torch.cat(memory)推理时计算最近邻距离并生成热力图(示意):
def score(img_path, memory, k=1):
q = torch.cat(extract_patches(img_path))
d = torch.cdist(q, memory) # 每个查询 patch 到记忆库距离
s = d.kthvalue(k).values.mean() # 取 k 近邻平均距离作为异常分
return s.item()
# 定位:把每个 patch 距离上采样回原图尺寸即得热力图四、与有监督方案的取舍
PatchCore 适合缺陷稀少、需要快速上线的场景,且对未知缺陷类型更鲁棒。
若某类缺陷样本充足且形状固定,有监督分割(如 YOLOv8-seg)通常定位更精细、误报更低。
工程上常组合使用:PatchCore 做有没有异常的初筛,有监督模型做是什么缺陷的精判。
五、部署提醒
提醒:预训练骨干在 ImageNet 上训练,工业纹理分布与之有差异,建议在自有正常样本上做特征适配或轻量微调;推理应在产线边缘设备做量化(如 INT8)以压低时延,上线前用一组已知缺陷做召回率验收,不要只看正常样本的通过率。
参考来源
Towards Total Recall in Industrial Anomaly Detection - Roth 等,CVPR 2022(openaccess.thecvf.com);patchcore-inspection 官方实现 - GitHub(amazon-research);MVTec AD 基准数据集 - MVTec Software。