环境临床智能基准(ACI-BENCH)

原名:ACI-BENCH。

发布时间
2023-07-08
数据集规模
207 次就诊对话及对应病历
更新日期
2026-10-25
所属话题
医疗工作流程 › 医患对话与病历生成

概述

ACI-BENCH 由微软健康人工智能团队、Nuance 公司与华盛顿大学的研究者构建。它收录 207 次门诊就诊的医患对话转写及对应病历,患者均为虚构。对话由医学专家编写,或由医生与志愿者角色扮演生成,转写有人工与语音识别两种版本。数据分为训练 67 次、验证 20 次与三个各 40 次的测试集。

环境临床智能指从诊室对话中自动生成病历的技术。这份数据可用于训练和评价从医患对话生成门诊病历的模型。人工转写与语音识别转写并存,可用于比较转写质量对生成结果的影响。它沿用 MEDIQA-CHAT 与 MEDIQA-SUM 2023 挑战赛的划分,便于和已有结果对照。

对人工智能学习的帮助

对话与病历由医学专家编写或改写,标注员删去了对话不支持的病历句子,能学到 3.0 专家判断。数据给定固定划分,并附 ROUGE、BERTScore、BLEURT 与 medcon 等评测方式,能学到 4.0 任务环境。模型可以学习把口语化的问诊内容整理成门诊病历,并只写对话里有依据的内容。患者是虚构的,数据量小,口音偏美国东北部,病历格式变化少。部分语音识别转写的说话人标签互换,维护方刻意未作修正。

记录形态

项目 内容
规模 207 次就诊对话及对应病历
记录语言 英语
记录来源 合成数据
记录单位 一次就诊
时间轴 单次,每条为一次虚构门诊的对话转写及病历
结局 无结局字段
专家标注 有,医学专家编写对话与病历,四名标注员核改
任务环境 有,沿用挑战赛的固定划分并给出评测方式与基线

数据结构

表:train_metadata.csv(challenge_data)。

字段 含义 类型或取值
dataset 数据子集名 virtassist、virtscribe、aci
encounter_id 挑战赛使用的就诊编号,可唯一标识一次就诊 论文未注明类型
id 就诊唯一编号,同时指明所属子集 论文未注明类型
doctor_name 医生姓名 论文未注明类型
patient_firstname 患者名 论文未注明类型
patient_familyname 患者姓 论文未注明类型
cc 主诉(chief complaint) 论文未注明类型
2nd_complaints 次要主诉 论文未注明类型

样例

表:challenge_data/train_metadata.csv。

子集 就诊编号 原始编号 患者性别 患者年龄 主诉 次要主诉
virtassist D2N001 VA049 female 50 annual exam congestive heart failure;depression;hypertension
virtassist D2N002 VA054 male 62 joint pain kidney transplant;hypothyroidism;arthritis
virtassist D2N003 VA004 male 61 back pain kidney stones;migraines;gastroesophageal reflux

获取

项目 内容
许可 Creative Commons Attribution 4.0 International License
商用 是,须署名
申请 公开下载
中国可用性 未写地域限制,公开许可

质量与局限

项目 内容
维护方口径 标注员删除对话不支持的病历句子并纠正转写错误。与 163 次真实就诊做了统计对比
已知局限 数据量小,由单一机构人员合成。口音偏美国东北部,病历格式变化少。部分自动转写有说话人标签互换

所属话题

出处

https://doi.org/10.1038/s41597-023-02487-3;https://www.nature.com/articles/s41597-023-02487-3/tables/3;https://github.com/wyim/aci-bench;https://api.figshare.com/v2/articles/22494601。

审校:数巨有谱真实数据研究团队|编辑:数巨有谱AI团队