欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

RAG 检索质量优化:BM25 + 向量 + 重排序实战

上邦 RAG 团队2026-08-25阅读 10 分钟
RAG 答得准不准,一半看检索。本文用 BM25 与向量检索做混合召回、RRF 融合,再用 bge-reranker 重排序精排,给出完整可运行的 Python 代码与调优思路,适合检索效果不理想的场景。

问题:为什么单路检索不够用

向量检索擅长语义相似,但遇到型号、编号、专业术语时,往往不如关键词精确匹配;纯 BM25 又理解不了同义表达。实际项目中,两者取长补短的效果通常更稳,这就是“混合检索”。

方案:混合召回 + 重排序

整体分三步:BM25 与向量各自召回一批候选 → 用 RRF 融合排序 → 交给重排序模型精排,取前几名送入大模型。

Step 1:安装依赖

pip install bm25s sentence-transformers FlagEmbedding

Step 2:BM25 + 向量混合召回

import bm25s
from sentence_transformers import SentenceTransformer

# 语料:每个 chunk 一段文本(doc_id 即 chunks 下标)
corpus = [c['text'] for c in chunks]

# 1) BM25 召回前 20
bm25 = bm25s.BM25()
bm25.index(bm25s.tokenize(corpus))
bm25_hits = bm25.retrieve(bm25s.tokenize(query), k=20)[0]
bm25_ranks = {doc_id: i for i, doc_id in enumerate(bm25_hits)}

# 2) 向量召回前 20(topk_dot_product 为示意函数)
model = SentenceTransformer('BAAI/bge-m3')
q_vec = model.encode(query)
vec_hits = topk_dot_product(q_vec, chunk_vectors, k=20)
vec_ranks = {doc_id: i for i, doc_id in enumerate(vec_hits)}

# 3) RRF 融合:按排名倒数求和,取前 10
fused = {}
for doc_id in set(bm25_ranks) | set(vec_ranks):
    s = 0.0
    if doc_id in bm25_ranks:
        s += 1.0 / (60 + bm25_ranks[doc_id] + 1)
    if doc_id in vec_ranks:
        s += 1.0 / (60 + vec_ranks[doc_id] + 1)
    fused[doc_id] = s

candidates = sorted(fused, key=fused.get, reverse=True)[:10]

Step 3:重排序精排

from FlagEmbedding import FlagReranker

reranker = FlagReranker('BAAI/bge-reranker-v2-m3', use_fp16=True)
pairs = [[query, chunks[i]['text']] for i in candidates]
scores = reranker.compute_score(pairs)

# 取重排后前 5 条送入大模型
order = sorted(range(len(scores)), key=scores.__getitem__, reverse=True)
final_top = [candidates[i] for i in order][:5]

验证与调优

① 准备 20-50 条典型问题,人工标注答案所在文档,离线评测召回效果与命中情况;
② RRF 的 k 值(60)与召回量(20)可按语料规模调整,语料大时可适当增大;
③ 重排序是“精排”,候选集太小会浪费它,建议融合后候选不少于 10 条。
提示:混合检索对型号、编号类问题提升最明显;开放性问题以向量为主,关键词明确的问题以 BM25 为主,可按业务调整权重。
相关标签:RAG混合检索重排序实操教程

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案