欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

基于DINOv2自监督特征的工业少样本缺陷检测实践

上邦 AI 工程团队2026-10-11阅读 约 8 分钟
工业缺陷样本标注成本高、长尾类别少,传统监督模型难以落地。本文给出基于DINOv2自监督视觉特征的少样本缺陷检测方案:冻结骨干提取通用表征,仅用少量正常与缺陷样本训练线性探针,配合异常分数阈值即可上线。附PyTorch与Hugging Face Transformers可复现代码。
工业缺陷检测长期受困于标注成本高与长尾类别样本少。与其为每个缺陷类别收集上千张标注图,不如先借一个在亿级图像上自监督预训练的通用视觉骨干,冻结它提取特征,再用极少量样本训练一个轻量分类头。DINOv2正是这样一个开箱即用的特征提取器。

一、为什么用DINOv2

DINOv2由Meta AI发布,在约一亿四千万张精选图像上以自监督方式预训练,产出的视觉特征无需微调即可用于分类、检索、分割等下游任务,并以Apache 2.0许可证允许商用。对缺陷检测而言,它的价值在于:用正常样本与少量缺陷样本即可区分分布内外,显著降低标注依赖。

二、少样本方案

取特征:用冻结的DINOv2大模型对每小张图提取[CLS]向量,作为该图的通用表征。
训探针:仅用少数正常与缺陷样本,训练一个逻辑回归或线性层作为分类探针。
定阈值:在正常样本上统计异常分数分布,设定阈值,超过即判为缺陷并告警。

三、可复现代码

以下示例用Hugging Face Transformers加载DINOv2并提取特征,再用scikit-learn训练线性探针:
from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import torch

proc = AutoImageProcessor.from_pretrained('facebook/dinov2-base')
model = AutoModel.from_pretrained('facebook/dinov2-base')

def feat(path):
    im = Image.open(path).convert('RGB').resize((224, 224))
    inp = proc(images=im, return_tensors='pt')
    with torch.no_grad():
        v = model(**inp).last_hidden_state[:, 0, :]
    return v.numpy().flatten()

X, y = [], []
for path, label in samples:  # label: 0正常 1缺陷
    X.append(feat(path)); y.append(label)

from sklearn.linear_model import LogisticRegression
clf = LogisticRegression().fit(X, y)
print('probe acc:', clf.score(X, y))
少样本不等于零验证。上线前应在真实产线连续收集误报与漏报,定期用新增样本微调探针;对安全相关缺陷,模型结论须与人工复检形成闭环,不可直接触发停机。

参考来源

DINOv2: Learning Robust Visual Features without Supervision(Oquab等,Meta AI,arXiv:2304.07193)
Hugging Face Transformers 官方文档 DINOv2 模型卡片 - Hugging Face 网站
PyTorch 与 torchvision 官方文档 - PyTorch 网站
相关标签:工业视觉少样本学习DINOv2缺陷检测自监督学习

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案