真实世界数据研究专区 · 数据集
放射学自然语言推理数据集(RadNLI)
原名:RadNLI: A natural language inference dataset for the radiology domain。
概述
RadNLI 由斯坦福大学的研究者发布,托管在 PhysioNet。句子取自 MIMIC-CXR v2.0.0 验证部分的胸片放射报告,按相似度与标签均衡抽出 480 个句对。每个句对交换前提与假设各标注一次,共得 960 对,验证集与测试集各 480 对。标注由一名医学专家与一名计算机专家完成,分歧经与另一名计算机专家讨论裁定。
自动生成的放射报告即使文本相似度指标得分高,也可能与影像事实不符。这份数据可用于评估模型判断两句报告表述是蕴含、矛盾还是无关的能力。它也可用于检验报告生成系统的事实一致性指标。
对人工智能学习的帮助
句子取自真实放射报告,属于 1.0 临床真实一层。蕴含、矛盾、中立标签由专家人工判定,能学到 3.0 专家判断。模型可以从中学习放射科表述里的否定、前后比较与部位范围。数据只有 960 对,没有训练集,主要用于评测。标注者中只有一名医学专家,标签的临床把握有限。
记录形态
| 项目 | 内容 |
|---|---|
| 规模 | 960 个句对,验证集与测试集各 480 对 |
| 记录语言 | 英语 |
| 记录来源 | 诊疗过程 |
| 记录单位 | 句对 |
| 时间轴 | 单次,每条为一对报告句子,不按个体组织 |
| 结局 | 无结局字段,只有蕴含、矛盾、中立标签 |
| 专家标注 | 有,一名医学专家与一名计算机专家双向标注,分歧讨论裁定 |
| 任务环境 | 有,固定划分验证集与测试集,无训练集 |
数据结构
表:radnli_test_v1.jsonl。
| 字段 | 含义 | 类型或取值 |
|---|---|---|
pair_id |
推理句对编号 | 字符串,如 "0" |
sentence1 |
前提句 | 文本 |
sentence2 |
假设句 | 文本 |
gold_label |
推理关系标签 | entailment/contradiction/neutral |
样例
表:radnli_test_v1.jsonl。
合成样例,非真实记录。
| 句对编号 | 前提句 | 假设句 | 推理关系 |
|---|---|---|---|
| 0 | No pleural effusion. | There is a small left pleural effusion. | contradiction |
| 1 | The cardiac silhouette is enlarged. | Cardiomegaly is present. | entailment |
| 2 | The lungs are clear. | No acute osseous abnormality. | neutral |
获取
| 项目 | 内容 |
|---|---|
| 许可 | PhysioNet Credentialed Health Data License 1.5.0 |
| 商用 | 未列明 |
| 申请 | 须通过凭证审核、完成 CITI 培训并签数据使用协议 |
| 中国可用性 | 须个人通过凭证审核并签协议,未列明国别限制 |
质量与局限
| 项目 | 内容 |
|---|---|
| 维护方口径 | 按语义相似度与标签均衡抽样。双人标注,分歧经讨论裁定 |
| 已知局限 | 规模小,仅 960 对。无训练集。标注者中仅一人为医学专家 |
所属话题
- 检验、影像与病理判读 › 胸部影像与放射报告
出处
https://physionet.org/content/radnli-report-inference/1.0.0/;https://physionet.org/about/faqs/;https://physionet.org/content/radnli-report-inference/view-license/1.0.0/。
审校:数巨有谱真实数据研究团队|编辑:数巨有谱AI团队