欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

用 LawBench 给法律大模型做“高考”:中文法律评测基准拆解

上邦 AI 工程团队2026-09-27阅读 约 7 分钟
法律大模型不能只靠“感觉好用”来评价。本文拆解中文法律评测基准 LawBench 的记忆力、理解力、应用力三层考察体系,演示如何对一个子集跑通 zero-shot 评测并计算准确率,并给出可复现的评测脚本、指标口径与模型选型建议,帮助企业建立可量化的选型标准。

法律大模型不能只靠“感觉好用”

法律场景对事实准确性和条文可追溯要求极高,模型一本正经地编法条代价惨重。要横向比较不同模型在法律任务上的能力,必须有一套可复现的评测基准,而不是凭主观印象打分。

LawBench 的三层考察体系

LawBench 将法律能力拆成三类:记忆力(能否准确回忆法条与司法解释)、理解力(对法律概念与构成要件的理解)、应用力(在真实案件中检索、推理、生成)。这三类对应从知道到会用的能力梯度。

实战:跑通一个 LawBench 子集

步骤一:选定子集。以记忆子集为例,评估模型对法条制定机关、时效等事实的回忆准确率。
步骤二:构造提示。采用 zero-shot 提示,要求模型直接给出法条编号或关键词,避免 Few-shot 泄露答案。
步骤三:批量推理。对每个样本调用模型,记录输出。
步骤四:判定与汇总。用字符串包含判定答案是否成立,统计子集准确率。
from datasets import load_dataset

ds = load_dataset('PKU-Legal/LawBench', 'memory')  # 公开子集
prompt = '请回答下列法律条文对应的制定机关:{question}'
correct = 0
for item in ds['test'].select(range(200)):
    pred = llm(prompt.format(question=item['question']))
    correct += int(item['answer'] in pred)
print('记忆子集准确率: %.1f%%' % (100 * correct / 200))
提醒:公开榜单只能反映考试能力。企业选型还应补充自有案卷、合同、咨询记录的领域子集,才能判断模型是否适配真实业务。

参考来源

EMNLP 2024 论文《LawBench: Benchmarking Legal Knowledge of Large Language Models》(ACL Anthology 编号 2024.emnlp-main.452);上海人工智能实验室 OpenCompass 法律评测实践文档;北京大学法律人工智能研究中心公开数据集说明。
相关标签:法律大模型LawBench模型评测法律AI

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案