为什么商品图需要多模态审核
单看图片或单看文案都容易漏判:一张普通袜子配“三天见效防臭神器”,只有把图与文联合理解才能识别夸大宣传;而纯AI生成的“照骗”商品图,靠肉眼更难分辨。多模态大模型恰好擅长这种跨模态一致性校验。
用本地视觉模型做图文校验
通过 Ollama 拉起一个视觉模型(如 qwen2.5vl 或 llama3.2-vision),把商品图与标题/详情一起发给模型,要求返回结构化风险判定:
import ollama, json
img = 'shoe_listing.jpg'
prompt = '''你是电商合规审核助手。结合商品图与文案,判断是否存在以下风险并输出 JSON:
[{'risk':'AI假图/材质不符/夸大宣传/无','evidence':'图中依据','confidence':0.8}]
文案:纯棉透气运动鞋,三天消肿。
只输出 JSON。'''
res = ollama.chat(model='qwen2.5vl:7b',
messages=[{'role':'user','content':prompt, 'images':[img]}])
print(res['message']['content'])视觉模型能发现光影断层、纹理畸形等AI生成痕迹,也能比对图文是否一致。
把单图判定汇总成审核流水线
① 上架前批量跑图,按 confidence 阈值分级:高风险的拦截、中风险的强制修改、低风险的进入人工复核;
② 维护平台违禁词库与类目规则,作为多模态结果的兜底校验;
③ 对命中项留存原图与模型判据,支撑申诉与纠纷处理的可溯源。
落地的现实约束
说明:视觉模型存在将优质实拍误判为AI图的可能,关键展示位应保留人工复核;自动识别结论不能替代平台正式认定与法规要求。
参考来源
淘宝亮剑AI假图 技术洪流中的价值坚守 - 光明网;人工智能生成合成内容标识办法 - 国家互联网信息办公室等四部门;Alibaba adapts to the age of AI fakes - World IP Review。