为什么商品图适合向量化检索
电商商品图海量增长,靠类目标签和关键词难以支撑找同款、找相似的发现需求。多模态模型 CLIP 能把图片和文本编码到同一向量空间,使以图搜图、相似款推荐、自动打标成为可能。用 CLIP 将每张商品图编码为固定维度向量,再借助向量库(如 FAISS)做近邻检索,即可在毫秒级返回视觉最相近的商品。
环境准备与模型加载
安装 Hugging Face Transformers 与 FAISS:
pip install transformers faiss-cpu pillow加载 CLIP 图像编码器,把商品图转为向量:
from transformers import CLIPProcessor, CLIPModel
from PIL import Image
import torch
model = CLIPModel.from_pretrained('openai/clip-vit-base-patch32')
processor = CLIPProcessor.from_pretrained('openai/clip-vit-base-patch32')
img = Image.open('shoe_red.jpg')
inputs = processor(images=img, return_tensors='pt')
with torch.no_grad():
vec = model.get_image_features(**inputs)
print(vec.shape)每条向量维度固定(CLIP ViT-B/32 为 512 维),可直接写入向量库。CLIP 同支持文本编码,因此也能实现以文搜图。
构建以图搜图索引
对商品图集批量编码后,用 FAISS 建索引并检索最相近的 K 张:
import faiss
import numpy as np
# vectors: (N, 512) 的 numpy 矩阵,已做 L2 归一化
index = faiss.IndexFlatIP(512)
index.add(vectors)
distances, neighbors = index.search(query_vec, k=5)
print('最相似商品编号:', neighbors[0])由此可支撑找相似款、搭配推荐,也能对新上架商品自动匹配类目与属性标签,减少人工标注。
落地建议
① 先对爆款与上新图集做向量化,验证以图搜图的召回质量;
② 用人工抽检校准相似度阈值,避免误召回;
③ 向量库与商品主数据打通,驱动搜索、推荐与自动打标联动。
说明:相似度检索存在误差,关键展示位应结合运营规则与人工抽检。
参考来源
CLIP:Connecting Text and Images - OpenAI Research;Hugging Face Transformers 官方文档 - Hugging Face;中国新电商发展报告(2026) - 第六届中国新电商大会。