CliniQ 电子病历检索基准

这份基准由清华大学团队发布，查询与相关性标注公开在 GitHub，语料原文要凭 MIMIC-III 访问权限自行重建。它以 MIMIC-III 中 1,000 篇出院小结为语料，切分为 16,550 个 100 词片段。查询共 1,246 条，取自疾病与操作编码和处方名称。片段级相关性判定共 77,206 条，分为字符串、同义、下位、缩写、蕴含五种匹配类型。

医生在病历中查找某个疾病、操作或药物时，常遇到同义词、缩写和隐含表述。这份基准可用于研究单个患者病历内的检索和跨患者检索。它按匹配类型分别计分，可用于分析检索方法在哪类语义匹配上失分。

它属于 1.0 临床真实一层，语料来自真实出院小结，查询取自 ICD 编码与处方名称，能学到 2.0 规则语义。相关性判定由大语言模型生成，与专家标注的 Cohen's κ 为 0.985，属于模型生成、专家抽查的 3.0 专家判断。评测脚本给出 MRR、NDCG 等指标，属于 4.0 任务环境，训练与测试划分未列明。模型能从中学习识别同一临床概念的多种写法。语料只含出院小结，ICD 标签不完整会带来假阴性。

项目	内容
规模	1,246 条查询、16,550 个片段、77,206 条相关性判定
记录来源	诊疗过程
记录单位	查询与片段
时间轴	单次，每份出院小结对应一次住院
结局	无结局字段
专家标注	有，判定由大语言模型生成，两名人工标注者抽查比对
任务环境	有，官方评测脚本，暂不设排行榜

表：benchmark/qrels_disease.tsv。

查询编号（0 为 gastrointestinal hemorrhage）	片段编号（住院编号_片段序号）	匹配类型
0	106238_0	synonym
0	106238_10	implication
0	130230_2	abbreviation

项目	内容
许可	Apache License 2.0
商用	未列明
申请	查询与标注公开下载，重建语料须取得 MIMIC-III 访问权

项目	内容
维护方口径	大语言模型判定与专家标注的 Cohen's Kappa 为 0.985
已知局限	只含出院小结，未覆盖症状、解剖结构等实体。ICD 标签不完整，存在不可避免的假阴性

• 医疗工作流程　›　病历问答与推理

https://github.com/zhao-zy15/CliniQ；https://arxiv.org/abs/2502.06252；https://arxiv.org/html/2502.06252v2；https://github.com/zhao-zy15/CliniQ/blob/master/LICENSE；https://raw.githubusercontent.com/zhao-zy15/CliniQ/master/README.md。