RareBench 罕见病评测基准

这份基准由清华大学计算机系与北京协和医院的团队发布，公开在 Hugging Face。公开病例共 1,197 例，来自 RAMEDIS 624 例、MME 40 例、HMS 88 例、LIRICAL 370 例和 PUMCH_ADM 75 例。每例记录 HPO 表型编码列表和 OMIM、Orphanet 等确诊疾病编码。协和病例总数 1,650 例，目前只公开用于人机对比实验的 75 例。

罕见病病种多、每种病例少，临床医生很难都熟悉。这份基准可用于研究根据表型列表推断罕见病诊断的方法。它也可用于比较自动诊断与专科医生在罕见病鉴别上的差距。

它属于 1.0 临床真实一层，病例来自已发表文献、开放病例库和协和电子病历。表型用 HPO 编码、疾病用 OMIM 与 Orphanet 编码，能学到 2.0 规则语义。确诊诊断与医生识别的表型属于 3.0 专家判断，模型能从中学习表型组合与罕见病之间的对应。各子集以测试划分发布，按 Top-k 召回率评测，属于 4.0 任务环境。罕见病数据稀缺且分布不均，协和病例也只公开一小部分，结论外推时容易有偏倚。

项目	内容
规模	公开病例合计 1,197 例，PUMCH 病例总数 1,650 例
记录语言	英语
记录来源	其他来源、诊疗过程
记录单位	病例
时间轴	单次，每例为一条表型编码列表与确诊病种
结局	无结局字段
专家标注	有，87 份协和电子病历带医生识别的表型标注
任务环境	有，各子集以测试划分发布，按 Top-k 召回率评测

表：data/HMS.jsonl（data.zip）。

表型（HPO 编码）	确诊疾病编码	科室
HP:0001225, HP:0001382, HP:0001443, HP:0001894, HP:0001974, HP:0003419, HP:0025238, HP:0030833, HP:0030834, HP:0030835, HP:0030836, HP:0030839	OMIM:106300	null
HP:0000793, HP:0001974, HP:0002205, HP:0002633, HP:0003496, HP:0100778	OMIM:123550, ORPHA:91138	null

项目	内容
许可	Apache License 2.0
商用	是，依 Apache 2.0 许可文本
申请	公开下载

项目	内容
维护方口径	剔除诊断不确定或少于 3 个表型的低质量病例。给出各子集病例数、病种数与表型数统计
已知局限	罕见病数据稀缺且分布不均，易致偏倚。PUMCH 病例仅公开一小部分。大语言模型只能作辅助工具

• 特殊话题　›　罕见病

https://huggingface.co/datasets/chenxz/RareBench；https://arxiv.org/abs/2402.06341；https://arxiv.org/html/2402.06341。