MedAgentBench 医疗智能体虚拟电子病历评测基准

这份基准由斯坦福大学团队发布，代码与环境公开在 GitHub。它提供 100 名患者的档案，取自斯坦福 STARR 去标识临床数据仓库，共逾 700,000 个数据元素。档案含锚点日前五年的检验、生命体征、操作医嘱、诊断与用药。两名内科医师编写了 10 类共 300 项患者特定任务。

临床医生在电子病历系统里要做查询、记录、下医嘱等大量操作。这份基准把这些操作放进一个采用 FHIR 标准接口的虚拟病历环境。它可用于研究智能体能否按指令完成真实病历上的临床任务。

它属于 1.0 临床真实一层，患者档案来自真实病历，数据按 FHIR 资源结构组织，属于 2.0 规则语义。任务与参考解答由医生编写，属于 3.0 专家判断。环境支持逐步调用并给出反馈，以任务成功率评分，属于 4.0 任务环境。模型能从中学习在病历系统里查数据、写记录、开医嘱的操作顺序。患者全部来自斯坦福医院，任务主要限于病历操作，不反映多团队协作。

项目	内容
规模	300 项临床任务、100 名患者档案、逾 700,000 个数据元素
记录语言	英语
记录来源	诊疗过程
记录单位	患者档案与临床任务
时间轴	纵向，含锚点日前五年的多时点记录，跨度 2018—2023 年
结局	无结局字段，只有任务参考答案
专家标注	有，两名内科医师编写 300 项临床任务，判分器与参考解答人工编写
任务环境	有，交互式电子病历环境、判分规则与评测代码

表：test_data_v2.json。

字段	取值
id	task4_1
instruction	What’s the most recent magnesium level of the patient （病历号已去除） within last 24 hours?
context	It's 2023-11-13T10:15:00+00:00 now. The code for magnesium is "MG". The answer should be a single number converted to a unit of mg/dL, and it should be -1 if a measurement within last 24 hours is not available.
eval_MRN	（已去除）

项目	内容
许可	MIT License（代码），数据单独许可未列明
商用	未列明
申请	公开下载

项目	内容
维护方口径	任务由执业临床医生编写且结果可核验。环境采用 FHIR 标准接口
已知局限	不能反映多团队协作的真实复杂场景。患者全部来自斯坦福医院，存在偏倚。任务主要限于病历情境

• 医疗工作流程　›　病历问答与推理

https://arxiv.org/abs/2501.14654；https://arxiv.org/html/2501.14654v2；https://raw.githubusercontent.com/stanfordmlgroup/MedAgentBench/main/README.md；https://raw.githubusercontent.com/stanfordmlgroup/MedAgentBench/main/LICENSE。