工业缺陷检测长期受困于标注成本高与长尾类别样本少。与其为每个缺陷类别收集上千张标注图,不如先借一个在亿级图像上自监督预训练的通用视觉骨干,冻结它提取特征,再用极少量样本训练一个轻量分类头。DINOv2正是这样一个开箱即用的特征提取器。
一、为什么用DINOv2
DINOv2由Meta AI发布,在约一亿四千万张精选图像上以自监督方式预训练,产出的视觉特征无需微调即可用于分类、检索、分割等下游任务,并以Apache 2.0许可证允许商用。对缺陷检测而言,它的价值在于:用正常样本与少量缺陷样本即可区分分布内外,显著降低标注依赖。
二、少样本方案
取特征:用冻结的DINOv2大模型对每小张图提取[CLS]向量,作为该图的通用表征。
训探针:仅用少数正常与缺陷样本,训练一个逻辑回归或线性层作为分类探针。
定阈值:在正常样本上统计异常分数分布,设定阈值,超过即判为缺陷并告警。
三、可复现代码
以下示例用Hugging Face Transformers加载DINOv2并提取特征,再用scikit-learn训练线性探针:
from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import torch
proc = AutoImageProcessor.from_pretrained('facebook/dinov2-base')
model = AutoModel.from_pretrained('facebook/dinov2-base')
def feat(path):
im = Image.open(path).convert('RGB').resize((224, 224))
inp = proc(images=im, return_tensors='pt')
with torch.no_grad():
v = model(**inp).last_hidden_state[:, 0, :]
return v.numpy().flatten()
X, y = [], []
for path, label in samples: # label: 0正常 1缺陷
X.append(feat(path)); y.append(label)
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression().fit(X, y)
print('probe acc:', clf.score(X, y))少样本不等于零验证。上线前应在真实产线连续收集误报与漏报,定期用新增样本微调探针;对安全相关缺陷,模型结论须与人工复检形成闭环,不可直接触发停机。
参考来源
DINOv2: Learning Robust Visual Features without Supervision(Oquab等,Meta AI,arXiv:2304.07193)
Hugging Face Transformers 官方文档 DINOv2 模型卡片 - Hugging Face 网站
PyTorch 与 torchvision 官方文档 - PyTorch 网站