痛点:关键词匹配的两个盲区
学校与培训机构积累了大量试题,但搜索时往往只能按题干关键词命中。‘匀速直线运动的加速度是多少’与‘物体做匀速直线运动,求其加速度’实质是同一类题,关键词却对不上;同时,多人录入、多版本导入极易产生重复题,人工排查成本极高。
思路:把题目变成可比较的向量
语义检索的核心是用嵌入模型把文本映射到向量空间,语义相近的题目在空间中距离更近。我们选用 Sentence-Transformers 生成句向量,再用 FAISS 构建索引,实现毫秒级近邻查询与聚类去重。
可复现步骤
① 安装依赖并加载中文句向量模型;
② 批量将题库题目编码为向量;
③ 用 FAISS 建立索引并写入;
④ 检索相似题,并按距离阈值聚类去重。
核心代码
环境与编码:
pip install sentence-transformers faiss-cpu
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('BAAI/bge-small-zh-v1.5')
questions = ['求匀速直线运动的加速度', '物体匀速直线运动求加速度大小', '解方程 2x+3=11']
vecs = model.encode(questions, normalize_embeddings=True)构建 FAISS 索引并检索相似题:
import faiss, numpy as np
dim = vecs.shape[1]
index = faiss.IndexFlatIP(dim) # 内积(已归一化即余弦相似度)
index.add(vecs.astype('float32'))
# 以第一题为例检索最相近的 3 题
D, I = index.search(vecs[:1].astype('float32'), k=3)
print(I, D)去重时,可设定相似度阈值(例如余弦相似度大于 0.85 视为疑似重复),批量两两比对或用聚类算法圈出重复簇。Sentence-Transformers 官方文档也提供了与 FAISS 配合的语义检索工具函数,可直接复用。
提醒:模型效果依赖训练语料与领域适配,数学公式、图表题建议先做文本化预处理;阈值需结合本校题库实测校准,避免误删异题。
参考来源
Sentence-Transformers 官方文档(模型使用与语义检索) - sbert.net
FAISS 官方仓库与文档(向量索引与近邻搜索) - github.com/facebookresearch/faiss