法律大模型不能只靠“感觉好用”
法律场景对事实准确性和条文可追溯要求极高,模型一本正经地编法条代价惨重。要横向比较不同模型在法律任务上的能力,必须有一套可复现的评测基准,而不是凭主观印象打分。
LawBench 的三层考察体系
LawBench 将法律能力拆成三类:记忆力(能否准确回忆法条与司法解释)、理解力(对法律概念与构成要件的理解)、应用力(在真实案件中检索、推理、生成)。这三类对应从知道到会用的能力梯度。
实战:跑通一个 LawBench 子集
步骤一:选定子集。以记忆子集为例,评估模型对法条制定机关、时效等事实的回忆准确率。
步骤二:构造提示。采用 zero-shot 提示,要求模型直接给出法条编号或关键词,避免 Few-shot 泄露答案。
步骤三:批量推理。对每个样本调用模型,记录输出。
步骤四:判定与汇总。用字符串包含判定答案是否成立,统计子集准确率。
from datasets import load_dataset
ds = load_dataset('PKU-Legal/LawBench', 'memory') # 公开子集
prompt = '请回答下列法律条文对应的制定机关:{question}'
correct = 0
for item in ds['test'].select(range(200)):
pred = llm(prompt.format(question=item['question']))
correct += int(item['answer'] in pred)
print('记忆子集准确率: %.1f%%' % (100 * correct / 200))
提醒:公开榜单只能反映考试能力。企业选型还应补充自有案卷、合同、咨询记录的领域子集,才能判断模型是否适配真实业务。
参考来源
EMNLP 2024 论文《LawBench: Benchmarking Legal Knowledge of Large Language Models》(ACL Anthology 编号 2024.emnlp-main.452);上海人工智能实验室 OpenCompass 法律评测实践文档;北京大学法律人工智能研究中心公开数据集说明。