律师事务所、公司法务与合规团队的文档资产有一个鲜明特征:高度结构化,却又长到难以使用。一份采购合同动辄上百个条款,一份判决书可能超过三万字。把这类文档整篇扔进向量库,检索结果的颗粒度是整篇文档,回答无法落到具体条款,而法律工作恰恰要求精确到条、款、项。据公开信息,最高人民法院建设的人民法院案例库于2024年2月27日正式上线并向社会开放,首批入库案例3711件,权威法律资源本身已经完成了结构化整理;对法律服务机构而言,自建私有化知识库的核心问题同样不是有没有文档,而是如何把自有资产切成可引用、可溯源的最小单元。本文给出一套以条款级切片、混合检索与引用溯源为核心的建设方案。
一、整篇入库在法律场景为什么必然失败
实践中最常见的做法是把合同、判决书、法规汇编整篇向量化后接入问答模型,这条路在法律场景有三个难以绕开的缺陷。第一,颗粒度过粗。三万字的长文本在向量空间中被平均化,单个条款的语义信号被稀释,问到逾期违约金上限时,召回的往往是整份合同的其他章节。第二,版本效力失控。法规修订频繁,已废止条文与现行条文混在同一个库里,问答系统引用废止条款的风险比检索不到更严重。第三,答案无法溯源。律师与法务对答案的要求是给出第几条第几款,一个不能指明出处的回答等于不可用。这三个缺陷决定了法律知识库必须重新设计知识的最小单元,而不是简单套用通用方案。
二、条款级切片:以条款为最小知识单元
第一步,文档解析与切片。Word 格式的合同与制度文件用 python-docx 按 Heading 结构或条款编号正则切分;PDF 格式的判决书用 pypdf 提取文本后,按第几条、第几章等编号模式切分,保证每个切片是一个完整条款,而不是机械的固定长度分段。
第二步,元数据设计。每个条款至少挂六类元数据:doc_type(合同、判决书、法规、内部范本)、article_no(条款号)、status(现行、已修订、已废止)、effective_date(生效日期)、matter_type(业务领域,如劳动争议、买卖合同)、confidentiality(密级)。其中效力状态与密级是法律场景区别于通用知识库的两个关键字段,直接决定检索权限与引用合法性。
第三步,入库。使用 Chroma 建本地持久化集合,条款文本与元数据一同写入,以下是一个可运行的切片入库示例:
import re
from docx import Document
import chromadb
ARTICLE = re.compile(r'第[一二三四五六七八九十百零]+条')
client = chromadb.PersistentClient(path='./legal_kb')
col = client.get_or_create_collection('clauses')
docs, metas, ids = [], [], []
buf, no = [], None
for p in Document('supply_contract.docx').paragraphs:
t = p.text.strip()
if not t:
continue
m = ARTICLE.match(t)
if m and no is not None:
docs.append(' '.join(buf))
metas.append({'doc_type': 'contract', 'article_no': no,
'status': 'active', 'effective_date': '2024-01-01'})
ids.append('HT-2024-018#' + str(no))
no = m.group(0)
buf = [t]
elif m:
no = m.group(0)
buf = [t]
elif no is not None:
buf.append(t)
if buf and no is not None:
docs.append(' '.join(buf))
metas.append({'doc_type': 'contract', 'article_no': no,
'status': 'active', 'effective_date': '2024-01-01'})
ids.append('HT-2024-018#' + str(no))
col.add(documents=docs, metadatas=metas, ids=ids)
print('clauses indexed:', len(docs))三、混合检索:向量召回加 BM25 关键词召回
法律文本大量使用精确术语与编号,纯向量检索对诉讼时效三年、违约金千分之三这类精确表述的召回并不稳定,而 BM25 这类基于词频的关键词算法恰好擅长精确匹配。稳妥的做法是双路召回:向量负责语义泛化,用户问逾期赔钱时能命中违约金条款;BM25 负责精确命中,用户直接搜竞业限制时能准确返回对应条款;两路结果再用倒数排序融合(RRF)合并排序:
import jieba
from rank_bm25 import BM25Okapi
import chromadb
query = '逾期交付的违约金如何计算'
client = chromadb.PersistentClient(path='./legal_kb')
col = client.get_collection('clauses')
vec = col.query(query_texts=[query], n_results=10,
where={'status': {'$eq': 'active'}})
vec_ids = vec['ids'][0]
pool = col.get(where={'status': {'$eq': 'active'}})
texts, ids = pool['documents'], pool['ids']
bm25 = BM25Okapi([list(jieba.cut(t)) for t in texts])
scores = bm25.get_scores(list(jieba.cut(query)))
kw_ids = [ids[i] for i in
sorted(range(len(scores)), key=lambda i: scores[i], reverse=True)[:10]]
def rrf(rank_lists, k=60):
score = {}
for ranks in rank_lists:
for i, cid in enumerate(ranks):
score[cid] = score.get(cid, 0) + 1.0 / (k + i + 1)
return sorted(score.items(), key=lambda x: x[1], reverse=True)
for cid, s in rrf([vec_ids, kw_ids])[:5]:
meta = col.get(ids=[cid])['metadatas'][0]
print(cid, meta['article_no'], round(s, 4))向量化模型可选用本地部署的 bge-m3 或 Qwen 系列 embedding,通过 Ollama 或 vLLM 起服务,条款文本全程不出内网。RRF 的权重参数 k 一般取 60,两路召回条数各取 10 条即可,融合后再取前 5 条送入生成环节,兼顾召回率与上下文长度。
四、引用溯源与效力过滤
检索完成后,进入生成环节前必须做两件事。效力过滤:查询条件强制带上 status 为现行的过滤,已修订与已废止条款只允许作为历史背景被检索,不允许进入答案引用。强制溯源:提示词要求模型只基于召回条款作答,并在每个结论后标注条款编号与文档编号;召回结果中没有依据的,明确回答未在知识库中找到依据,禁止模型凭参数记忆补全法条。这一条是法律知识库区别于通用问答工具的生命线,宁可不答,不可错答。
合规提醒:律师法第三十八条规定,律师对执业中知悉的委托人的商业秘密及隐私负有保密义务。涉及案件材料的知识库应坚持全私有化部署,文档、向量库与模型均留在内网,不调用公网 API,这也是大多数律所选择本地方案的根本原因。
五、验收指标与迭代
上线不是终点,用三个指标驱动迭代:条款定位准确率,抽检一百个真实问题,检查答案引用的条款是否正确;现行版命中率,引用条文中现行版本所占比例;零结果率,完全检索不到的比例,应随内容补充持续下降。每两周用真实咨询问题做一轮回归测试,零结果问题进入内容补充清单。人民法院案例库公开的入库案例与裁判要旨,也可以作为评测集的参照,用于校准类案检索的准确性。
参考来源
人民法院案例库正式上线并向社会开放(2024年2月27日,首批入库案例3711件) - 最高人民法院官网;Chroma 使用文档(条件过滤与持久化客户端) - Chroma 官方文档站;rank_bm25 库使用说明(BM25Okapi 检索接口) - PyPI 项目页。