欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

基于 Sentence-Transformers 与 FAISS 的题库语义检索与相似题去重

上邦 AI 工程团队2026-10-15阅读 约 9 分钟
传统题库靠关键词匹配,搜不出‘换种说法的同类题’,也难以发现重复录入。本文给出可复现方案:用 Sentence-Transformers 把题目向量化,借助 FAISS 做毫秒级语义检索与近邻聚类,实现相似题召回与去重,全部可在单机上离线运行,显著降低题库维护与人工排查成本。

痛点:关键词匹配的两个盲区

学校与培训机构积累了大量试题,但搜索时往往只能按题干关键词命中。‘匀速直线运动的加速度是多少’与‘物体做匀速直线运动,求其加速度’实质是同一类题,关键词却对不上;同时,多人录入、多版本导入极易产生重复题,人工排查成本极高。

思路:把题目变成可比较的向量

语义检索的核心是用嵌入模型把文本映射到向量空间,语义相近的题目在空间中距离更近。我们选用 Sentence-Transformers 生成句向量,再用 FAISS 构建索引,实现毫秒级近邻查询与聚类去重。

可复现步骤

① 安装依赖并加载中文句向量模型;
② 批量将题库题目编码为向量;
③ 用 FAISS 建立索引并写入;
④ 检索相似题,并按距离阈值聚类去重。

核心代码

环境与编码:
pip install sentence-transformers faiss-cpu
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('BAAI/bge-small-zh-v1.5')
questions = ['求匀速直线运动的加速度', '物体匀速直线运动求加速度大小', '解方程 2x+3=11']
vecs = model.encode(questions, normalize_embeddings=True)
构建 FAISS 索引并检索相似题:
import faiss, numpy as np
dim = vecs.shape[1]
index = faiss.IndexFlatIP(dim)   # 内积(已归一化即余弦相似度)
index.add(vecs.astype('float32'))
# 以第一题为例检索最相近的 3 题
D, I = index.search(vecs[:1].astype('float32'), k=3)
print(I, D)
去重时,可设定相似度阈值(例如余弦相似度大于 0.85 视为疑似重复),批量两两比对或用聚类算法圈出重复簇。Sentence-Transformers 官方文档也提供了与 FAISS 配合的语义检索工具函数,可直接复用。
提醒:模型效果依赖训练语料与领域适配,数学公式、图表题建议先做文本化预处理;阈值需结合本校题库实测校准,避免误删异题。

参考来源

Sentence-Transformers 官方文档(模型使用与语义检索) - sbert.net
FAISS 官方仓库与文档(向量索引与近邻搜索) - github.com/facebookresearch/faiss
相关标签:教育 AI语义检索Sentence-TransformersFAISS题库去重

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案