无感结算的技术骨架
所谓无感结算,本质是看到什么商品、自动算多少钱。整套系统通常被拆成三段:检测(画面里有哪些商品)、识别(每件是什么 SKU)、计数与计价(数量乘以单价并去重)。难点不在单帧识别,而在复杂陈列、遮挡、相似包装下的稳定计数。
第一步:用检测模型定位商品
先训练或复用一个人-货-货架的检测模型,框出画面中每个商品实例。开源的 YOLO 系列在零售场景上迁移成本低,下面给出推理骨架。
from ultralytics import YOLO
model = YOLO('yolov8n.pt') # 替换为自有商品检测权重
results = model('shelf.jpg')
boxes = []
for r in results:
for b in r.boxes:
boxes.append({
'xyxy': b.xyxy[0].tolist(),
'conf': float(b.conf),
'cls': int(b.cls)
})
print('检测到商品框:', len(boxes))
第二步:用度量学习做细粒度分类
同品牌不同规格、外观极相似的包装,靠分类头容易混淆。更稳的做法是度量学习:把商品图编码成向量,结算时与门店商品库做近邻检索,相似度最高的即为候选 SKU。
import numpy as np
from sklearn.neighbors import NearestNeighbors
# gallery_vecs: 已录入的各 SKU 特征 (N, D)
# query_vec: 当前商品框特征 (D,)
nn = NearestNeighbors(n_neighbors=1, metric='cosine').fit(gallery_vecs)
dist, idx = nn.kneighbors(query_vec.reshape(1, -1))
sku_id = gallery_sku[int(idx[0][0])]
print('匹配 SKU:', sku_id, '相似度:', 1 - dist[0][0])
第三步:多帧跟踪与时序投票
单帧可能误识,用跟踪把同一商品在多帧中关联起来,再用多数投票决定最终 SKU,可显著降低抖动带来的错账。
跟踪:给每个检测框分配稳定 ID,跨帧维持同一商品身份。
去重:同一 ID 只计一次,避免重复计价。
投票:对同一 ID 的多帧识别结果取众数,抑制偶发误识。
视觉结算是辅助计价,不是强制无人工。上线初期务必保留人工复核通道与异常告警(置信度过低、计数突变),并定期回灌错例持续训练;涉及价格差错应有明确的退赔与追溯机制。
参考来源
Amazon Just Walk Out 技术介绍 - Amazon 官方技术博客
计算机视觉商品识别管线解析 - AI Understanding 技术媒体
Amazon Go 无人零售技术架构讨论 - TechGolly 技术评论
商品识别与度量学习综述 - 百度百科 / 学术资料