问题:召回够了,排序却不准
在法务知识库里,向量检索擅长把相关内容拉回来,但容易把字面相似却法律含义不同的条文一并召回。真正的难点不是找不找得到,而是排在第几条。重排序(rerank)正是解决这一步——用一个交叉编码器同时看查询与候选,给出更贴近语义相关性的分数。
第一步:用向量检索粗召回候选
先把法规库或案例库向量化入库,查询时粗召回前若干条作为候选池,重排序只在这个小池子里做,既保精度又控算力:
from sentence_transformers import SentenceTransformer
import numpy as np
embed = SentenceTransformer('BAAI/bge-base-zh')
query = '用人单位未签劳动合同应承担什么责任'
docs = ['劳动合同应当书面订立……', '试用期最长不得超过六个月……', '……']
q = embed.encode(query, normalize_embeddings=True)
d = embed.encode(docs, normalize_embeddings=True)
sims = q @ d.T
topk = np.argsort(-sims)[:5]
candidates = [docs[i] for i in topk]
第二步:用 CrossEncoder 重排序
重排序模型把查询与每条候选拼接后联合编码,分数比向量相似度更可靠。下面用 sentence-transformers 的 CrossEncoder 加载 BGE 重排序模型:
from sentence_transformers import CrossEncoder
reranker = CrossEncoder('BAAI/bge-reranker-v2-m3')
pairs = [(query, c) for c in candidates]
scores = reranker.predict(pairs)
ranked = sorted(zip(candidates, scores), key=lambda x: -x[1])
for text, s in ranked:
print(round(float(s), 4), text[:30])
提醒:重排序模型通常比向量模型更重,建议在服务端批量推理;涉及当事人信息的案卷,应部署在隔离环境,避免敏感数据外传。
第三步:把重排结果接回问答链路
重排后取前一到两条作为上下文喂给大模型生成答案,并在输出中标注所引条文的出处与版本,让结论可溯源。上邦在法律 RAG 落地中通常采用“向量粗召回 + 重排序精排 + 带出处生成”的三段式,以平衡召回率与精确度。
参考来源
Hugging Face 模型卡(BAAI/bge-reranker-v2-m3 重排序模型) - huggingface.co;sentence-transformers 官方文档(CrossEncoder 用法) - sbert.net;LangChain 官方文档(检索与重排集成) - python.langchain.com。