法规问答类应用最怕两种失误:一是用户用精确案号、法条编号提问时,纯向量检索可能因语义漂移而漏掉最相关的条文;二是纯关键词检索无法理解应当、可以这类近义表述。混合检索把两者结合,是工程上更稳的做法。
第一步:建立 BM25 关键词索引。对法规条文做分词后建立倒排与 BM25 打分,保证含精确编号、术语的查询能精确命中。
from rank_bm25 import BM25Okapi
import jieba
corpus = [
'民事诉讼法第一百二十二条规定的起诉条件包括原告适格',
'合同纠纷中违约金过高的可以请求人民法院予以适当减少',
'刑事诉讼中认罪认罚从宽制度的适用条件'
]
tokenized = [list(jieba.lcut(t)) for t in corpus]
bm25 = BM25Okapi(tokenized)
query = list(jieba.lcut('起诉条件 民事诉讼法'))
scores = bm25.get_scores(query)
print('BM25 得分:', scores)
第二步:向量召回补充语义相关。用句向量模型把条文与问题编码为向量,召回语义相近但用词不同的条文,弥补关键词检索的盲区。
from sentence_transformers import SentenceTransformer
import chromadb
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
client = chromadb.PersistentClient(path='./law_index')
col = client.get_or_create_collection('regulations')
col.add(ids=[str(i) for i in range(len(corpus))], documents=corpus)
res = col.query(query_texts=['什么情况下可以起诉'], n_results=2)
print(res['documents'][0])
混合检索不等于两段分数直接相加。更稳妥的做法是对 BM25 与向量得分分别做 min-max 归一,再按权重融合,并用本地大模型在最终召回的条文中按出处生成带引用的答案,避免编造条文。
第三步:融合排序与可溯源生成。将归一化后的两类得分加权求和排序,取前 N 条作为上下文,要求模型回答时标注具体条文来源,让人能回溯核对。这一步是把检索结果变成可用答案的关键。
对律所、企业法务与公共法律服务平台而言,混合检索在私有化部署下即可落地:语料不外传、检索可审计、答案可溯源。它不替代专业判断,而是把人工从海量翻阅中解放出来,把精力放在核验与适用上。
参考来源
rank_bm25 项目文档 - GitHub(dorianbrown/rank_bm25)
sentence-transformers 官方文档 - Hugging Face
Chroma 官方文档(PersistentClient 与向量检索) - docs.trychroma.com