法律检索里用纯稠密向量,经常漏掉“第1077条”这类精确条款号和“融资担保”“表见代理”这类专业术语。问题成立的前提是:你已有一套条文或案例库,且需要在长合同、长卷宗里定位具体片段。可复现的解法是——用 BGE-M3 一个模型同时输出稠密向量、稀疏向量与多向量三路结果,做混合检索:稠密负责语义召回,稀疏负责关键词精确命中,多向量负责细粒度重排。本地部署一张消费级显卡即可跑起来,语料入库到可用通常 2 到 4 周。最容易踩的坑有两个:把长合同整篇塞进 512 token 的窗口导致条款被截断;或者只调稠密不用稀疏,术语和条号召回直接崩掉。
为什么纯向量在法律场景会“漏”
稠密向量把一个片段压成一个语义点,擅长“离婚冷静期”“三十日”这类近义表达,但会稀释掉精确的词汇信号。法律场景偏偏高度依赖精确:条款编号、罪名、程序期限、专业术语,往往一个字都不能错。稀疏检索(类似 BM25)的词面匹配恰好补这一块——它会给“劳动合同法”“第38条”这类词极高权重,把含精确词汇的文档推到前面,而且可解释:业务方问“为什么召回这份”,你能指出是哪个词在贡献分数。第三种是多向量(ColBERT 风格 late interaction),不为整段生成一个向量,而是逐 token 保留表征,做 token 级交互,擅长在长文档里找到关键片段。三种能力各有分工,混用才有稳的效果。
BGE-M3 把三种能力装进一个模型
据公开资料,BGE-M3 是北京智源人工智能研究院(BAAI)发布的嵌入模型,通过自知识蒸馏统一了多语言性、多功能性与多粒度性:支持 100 多种语言,最长 8192 token 输入,同一个模型可输出稠密、稀疏、多向量三种表示。对法律场景,8192 token 的意义很实在——一份中等长度的合同或一篇判决书可以整篇编码,减少切块次数,保住章节之间的关联;100 多种语言则便于处理涉外合同与双语条款。工程上用 FlagEmbedding 库即可调用,下面是一个最小可复现的编码示例(Python,字符串一律用单引号以便直接嵌入脚本):
from FlagEmbedding import BGEM3FlagModel
model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)
out = model.encode(
['自婚姻登记机关收到离婚登记申请之日起三十日内,任何一方不愿意离婚的'],
return_dense=True,
return_sparse=True,
return_colbert_vecs=True,
)
dense = out['dense_vecs'] # 语义向量
sparse = out['lexical_weights'] # 词面权重,可解释
multi = out['colbert_vecs'] # token 级向量,用于重排
print(len(dense[0]), len(multi[0]))
这段代码会同时产出三路表示。生产环境建议开启 FP16 以降低显存占用;稀疏权重可以落倒排索引,多向量计算开销较大,宜配合近似最近邻库使用。把条文与案例预处理成这三种索引后,检索链路就能围绕“召回—融合—重排—给 LLM”来组织。
推荐的三模态混合检索流程:
1. 稠密向量召回 Top-100,抓住语义相近的片段与类案。
2. 稀疏向量召回 Top-100,兜住条号、罪名、期限等精确词汇。
3. 两路结果按文档 ID 合并去重,用倒数排名融合(RRF)统一打分,避免直接拼接不同量纲的分数。
4. 多向量对 Top-20 做 token 级重排,纠正语义近似但细节不符的结果。
5. 取 Top-5 连同出处交给大模型生成答复,并要求逐条标注条款来源。
1. 稠密向量召回 Top-100,抓住语义相近的片段与类案。
2. 稀疏向量召回 Top-100,兜住条号、罪名、期限等精确词汇。
3. 两路结果按文档 ID 合并去重,用倒数排名融合(RRF)统一打分,避免直接拼接不同量纲的分数。
4. 多向量对 Top-20 做 token 级重排,纠正语义近似但细节不符的结果。
5. 取 Top-5 连同出处交给大模型生成答复,并要求逐条标注条款来源。
长文档与领域微调怎么取舍
先解决切块,再谈微调。实务中大量检索失败不是模型不行,而是把一份 40 页合同切成互不相关的碎片,条款上下文被切断。BGE-M3 的 8192 token 窗口能显著减少切块次数,但仍建议按文档结构切分——按“条”“款”“章节”而非固定字数,并让每个块带上所属合同、版本、页码等元数据。检索结果里带上这些信息, lawyer 才能回溯到原件。检索层做好之后,若术语召回仍不理想,再考虑用领域语料微调嵌入模型;据公开技术资料,领域微调对专业术语召回的提升通常比通用模型更明显,但成本与维护负担也更高,建议先用混合检索把基线跑扎实。
一个脱敏项目可供参考。某中型律所约 60 人,合同审查时靠关键词搜索加人工翻阅,定位一处关键条款平均耗时约 20 分钟,且长合同里容易漏看。团队用四周时间把历史合同与常用法规做成混合检索库,稠密加稀疏双路召回、多向量重排,条款定位平均耗时降到约 7 分钟,复核时发现的关键条款漏看明显减少。数字来自该所内部前后对比,属于可度量的效率改进,而非“准确率提升多少个百分点”式的夸张宣称。这类把条文与判例做成可检索底座的工作,本质上就是企业私有 AI 知识库在法律场景的具体形态;再叠加术语表与版本管理,可进一步沉淀为所内的知识管理平台。
混合方案上线前,建议先用标注好的问题集做一次离线评测:从历史合同与案卷里挑出 100 到 200 条真实查询,人工标出应召回的条款位置,分别统计稠密单路、稀疏单路与融合方案的 Recall@10。经验上,纯稠密在“近义改写”类问题上领先,纯稀疏在“精确条号”类问题上领先,融合的价值在于把两类短板都补上;如果融合后某类问题反而下降,通常是权重或重排阈值需要调整,而不是模型选错。评测集要覆盖术语、条号、口语化描述三种查询风格,否则很容易在自己的舒适区里得到虚高分数,等到真实业务里才暴露问题。
另一个常见失误是忽略“查询侧”与“文档侧”的一致性:BGE-M3 对查询和文档使用同一编码器,但对带指令的检索模型,查询端要按官方要求拼上检索指令,否则语义空间不对齐,召回会莫名变差。上线前务必用真实查询复测一遍,而不是拿文档自相似度充数。
上线前要立的两条规矩
第一条是可溯源:任何检索增强生成的答复,都必须能点回原文条款,无法给出处的片段宁可不进答案。法律场景对“看起来对”容忍度极低,一段似是而非的概括比不回答更危险。第二条是人审闭环:检索与生成的结果定位为助手产出,最终法律意见由执业人员签发。据公开资料,生成式 AI 在法律文书处理中主要承担信息抽取、相似案例检索与初稿辅助,结论性判断仍须人工把关。把这两条写进系统设计,再谈模型选型,顺序才对。
参考来源
BGE-M3: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation - arXiv
FlagEmbedding 官方仓库与 BAAI/bge-m3 模型说明文档 - 北京智源人工智能研究院(BAAI)
Embedding 模型选型与微调:BGE、M3E 与领域适配实践(三种向量与长文档场景说明) - 技术社区公开资料
FlagEmbedding 官方仓库与 BAAI/bge-m3 模型说明文档 - 北京智源人工智能研究院(BAAI)
Embedding 模型选型与微调:BGE、M3E 与领域适配实践(三种向量与长文档场景说明) - 技术社区公开资料