欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用 CLIP 做电商商品以图搜图:相似款推荐与自动打标实践

上邦 AI 工程团队2026-09-07阅读 约 10 分钟
电商商品图海量增长,靠关键词和类目标签难以支撑找同款、找相似的发现需求。本文给出一条可复现路线:用 OpenAI CLIP 将商品图编码为向量,配合 FAISS 向量库实现以图搜图、相似款推荐与自动标签生成。全流程可在内网运行,帮助运营把图片资产变成可检索、可推荐的结构化数据。

为什么商品图适合向量化检索

电商商品图海量增长,靠类目标签和关键词难以支撑找同款、找相似的发现需求。多模态模型 CLIP 能把图片和文本编码到同一向量空间,使以图搜图、相似款推荐、自动打标成为可能。用 CLIP 将每张商品图编码为固定维度向量,再借助向量库(如 FAISS)做近邻检索,即可在毫秒级返回视觉最相近的商品。

环境准备与模型加载

安装 Hugging Face Transformers 与 FAISS:
pip install transformers faiss-cpu pillow
加载 CLIP 图像编码器,把商品图转为向量:
from transformers import CLIPProcessor, CLIPModel
from PIL import Image
import torch

model = CLIPModel.from_pretrained('openai/clip-vit-base-patch32')
processor = CLIPProcessor.from_pretrained('openai/clip-vit-base-patch32')

img = Image.open('shoe_red.jpg')
inputs = processor(images=img, return_tensors='pt')
with torch.no_grad():
    vec = model.get_image_features(**inputs)
print(vec.shape)
每条向量维度固定(CLIP ViT-B/32 为 512 维),可直接写入向量库。CLIP 同支持文本编码,因此也能实现以文搜图。

构建以图搜图索引

对商品图集批量编码后,用 FAISS 建索引并检索最相近的 K 张:
import faiss
import numpy as np

# vectors: (N, 512) 的 numpy 矩阵,已做 L2 归一化
index = faiss.IndexFlatIP(512)
index.add(vectors)

distances, neighbors = index.search(query_vec, k=5)
print('最相似商品编号:', neighbors[0])
由此可支撑找相似款、搭配推荐,也能对新上架商品自动匹配类目与属性标签,减少人工标注。

落地建议

① 先对爆款与上新图集做向量化,验证以图搜图的召回质量;
② 用人工抽检校准相似度阈值,避免误召回;
③ 向量库与商品主数据打通,驱动搜索、推荐与自动打标联动。
说明:相似度检索存在误差,关键展示位应结合运营规则与人工抽检。

参考来源

CLIP:Connecting Text and Images - OpenAI Research;Hugging Face Transformers 官方文档 - Hugging Face;中国新电商发展报告(2026) - 第六届中国新电商大会。
相关标签:电商AI多模态CLIP以图搜图向量检索

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案