为什么医疗模型必须独立评测
医疗问答一旦出错,可能影响诊断与用药,后果远超闲聊。通用榜单分数高,不代表在专科知识、复杂推理、医疗安全与伦理上可靠。因此医疗大模型需要专属评测基准,从多维度量化能力边界。
认识 MedBench 与 CMB
MedBench 由上海人工智能实验室等机构推出,已并入司南大模型开源开放评测体系(OpenCompass)。它围绕医学语言理解、医学语言生成、医学知识问答、复杂医学推理、医疗安全与伦理五大维度构建评测集,覆盖 43 个临床专科,题库规模约 30 万道,并提供标准化、云端的自动评测基础设施。CMB(Comprehensive Medical Benchmark)与 CMMLU 的医学子集也是常用的中文医疗能力参考。
思路一:用 OpenCompass 接入评测
OpenCompass 支持配置模型 API 后一键跑榜。核心是把本地或云端模型封装成 OpenAI 兼容接口(参考上一讲的 llama.cpp 服务),再在评测配置中指定 MedBench 子集:
from opencompass.models import OpenAISDK
models = [
OpenAISDK(path='local-model',
key='not-needed',
openai_api_base='http://localhost:8080/v1',
max_out_len=512, max_seq_len=8192)
]具体数据集名与版本以 OpenCompass 与 MedBench 官方配置为准,避免引用过期任务名。
思路二:本地做定向小样本评测
若只想快速验证某一专科能力,可抽取 CMB 或 MedBench 公开样本题,用精确匹配与专家 rubric 评分:
import json
def score(pred, gold):
return 1.0 if pred.strip() == gold.strip() else 0.0
samples = json.load(open('cmb_sample.json'))
acc = sum(score(p['pred'], p['gold']) for p in samples) / len(samples)
print(f'accuracy={acc:.3f}')评测后的两个动作
① 按维度看短板:安全伦理低分要优先处置,而非只盯总分;
② 留存评测报告与版本号,模型迭代前后对比,形成可审计的能力基线。
评测数据若含真实病历须做脱敏与授权处理,禁止将患者信息带入非受控环境。
参考来源
MedBench 中文医疗大模型评测平台 - OpenCompass(medbench.opencompass.org.cn);MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models - IEEE Big Data Mining and Analytics(2024);CMMLU 与 CMB 中文医疗与综合评测基准 - Hugging Face。