样本问题
问题与引用材料.json
固定回答的依据范围。
{
"任务编号": "TA001",
"问题": "所给研究能否支持对儿童作出同样结论？",
"资料": {
"编号": "REF01",
"版本": "v1",
"片段": "本研究仅纳入成年人群。",
"位置": "第4页结果第2段"
}
}文件提示
这是合成的引用核对样例，不对应真实研究结论。
这是什么
评价拆成三个维度，各自设题、各自判分：有没有检索到依据，引用是否准确，结论是否得到依据支持。一个回答可以引用位置完全正确，却仍把结论推到原文没有覆盖的人群上；三维分开，错误就能定位到具体环节。
每道题固定资料库和版本。回答先拆成独立主张，每个主张对应参考判断所用的文献、页码、章节或原文片段，并写出原文的适用人群和条件。题目里专门放入资料不足和条文更新的情形，看回答在依据不够时是否仍作过度结论，新旧版本并存时是否用错版本。
检索过程同样留有记录：查询词、命中片段，以及片段是否足够回答。缺少依据的情形单列。
长什么样
一题的资料范围只有一段：某文献第 4 页结果第 2 段，“本研究仅纳入成年人群。”问题是这项研究能否支持对儿童作出同样结论。参考结论为不能推广至儿童，适用范围标为成年人群。引用错误表对照两种回答：“研究证明对儿童同样成立”判为超出研究人群；“仅据现有材料无法确定儿童情况”判为保留了适用限制。
样本数据
样本数据 12 份
问题与引用材料引用与参考结论引用错误与评分字段与使用说明质量与版本说明任务说明检索记录依据与引用参考结果评分标准使用说明文件与版本清单
样本引用
引用与参考结论.json
将结论、位置和适用范围对应。
{
"任务编号": "TA001",
"主张": "不能仅据所给片段推广至儿童",
"依据": "REF01 v1，第4页结果第2段",
"适用范围": "成年人群"
}文件提示
引用到正确位置后，仍需核对主张是否被支持。
样本引用
引用错误与评分.csv
区分引用位置和依据使用错误。
| 回答 | 问题 | 判定依据 |
|---|---|---|
| 研究证明对儿童同样成立 | 超出研究人群 | REF01 仅纳入成年人 |
| 仅据现有材料无法确定儿童情况 | 保留适用限制 | 未向原文之外推断 |
文件提示
分别记录检索、位置和主张支持的得失。
样本字段
字段与使用说明.csv
解释列的含义、取值和关联方式。
| 字段 | 含义 | 样例 |
|---|---|---|
| 引用主张 | 从回答中拆出的、需要依据支持的独立主张。 | C01：对目标人群作出的结论 |
| 正确引用位置 | 参考判断采用的文献、页码、章节或原文片段。 | REF01，第 4 页，结果第 2 段 |
| 依据适用条件 | 列出引用材料中的人群、场景、时间及其他限制。 | 该条文仅适用于其所列成人研究人群 |
| 不能由依据得出的结论 | 列出超出研究设计或观察范围的推断。 | 不能据此确认个体患者的治疗效果 |
文件提示
在导入数据前核对含义、空值与单位，避免仅按列名理解。
样本质量
质量与版本说明.md
说明覆盖范围、缺失、核查方式与版本变化。
# 医学检索与依据引用评价集
质量说明
覆盖范围：按约定的观察单位记录。
缺失记录：缺失字段和未取得原件单独列出。
核查方式：引用定位到具体原文，核对其与结论的支持关系及适用条件；资料注明来源与版本。检索命中、引用准确和结论正确分别评价。
文件提示
先看覆盖与缺失，再决定是否适合研究、训练或评价。
分别核对检索命中、引用位置与结论支持，用于定位医学问答系统在检索或生成中的错误。
样本任务说明
任务说明.md
写明输入、需完成的工作和应提交的文件。
# 任务说明
目标：核对材料中已完成与未确认事项，形成可供接手者使用的结果。
输入：材料目录中的固定版本文件。
输出：结果表及每项结论的出处。
要求：未取得的记录写明未确认；不能补写不存在的执行结果。
文件提示
先读任务和允许使用的材料，再开始生成；提交时按文件清单核对。
样本检索
检索记录.jsonl
保存查询、检索片段和选择依据。
{
"问题": "复查是否已经完成？",
"检索结果": [
{
"来源": "D001",
"片段": "已提出复查安排",
"是否足够": "否"
}
],
"结论": "现有材料不足以确认"
}文件提示
比较召回片段与参考依据，分开定位检索问题和作答问题。
样本依据
依据与引用.csv
显示结论由哪段材料支持以及适用范围。
| 结论编号 | 来源 | 位置 | 支持内容 | 限制 |
|---|---|---|---|---|
| L001 | D001 v1 | 第2段 | 记录已有复查安排 | 不能证明复查已完成 |
文件提示
检索时读取来源，作答时逐项回查引用，避免扩大依据结论。
样本参考
参考结果.md
给出可对照的目标产物和未决事项。
# 参考结果
已知：来源记录提出了复查安排。
未确认：是否已经检查，报告是否签发。
原文位置：D001，第2段。
后续工作：查阅检查状态与报告；未取到前保持未确认。
文件提示
用于学习或人工复核；独立评价时与模型输入分开。
样本评分标准
评分标准.csv
按可观察行为或产物逐项评价。
| 评分项 | 满足条件 | 核对位置 | 判定 |
|---|---|---|---|
| 区分计划和完成 | 未把仅有申请写成已完成 | 结果表状态列 | 满足 / 不满足 |
| 结论有依据 | 指出来源和位置 | 引用列 | 满足 / 不满足 |
文件提示
先逐项检查再汇总；材料不足和模型错误分别记录。
样本使用
使用说明.md
说明观察单位、文件之间如何连接以及使用范围。
# 医疗检索增强生成(RAG)评测集
1. 先读工作要求与索引。
2. 用病例、文书、检查或任务编号连接文件，不能仅靠相近日期猜配。
3. 空值、未确认与明确的否定分别保留。
文件提示
交付前用样本和说明共同核对读取方式。
样本文件
文件与版本清单.csv
文件清单包含文件名称、版本和校验信息。
| 文件 | 版本 | 记录/页数 | 校验信息 |
|---|---|---|---|
| 任务说明.md | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 检索记录.jsonl | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 依据与引用.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 参考结果.md | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 评分标准.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 使用说明.md | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 文件与版本清单.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
文件提示
接收时检查文件齐全、版本一致，再导入或开始任务。
内容与字段
- 领域
- 医疗真实世界
- 类别
- F 评测与智能体环境
- 形态
- 评测集
- 样本获取
- 申请后提供
页内展示的是样本预览；完整样本按“样本获取”一栏的方式提供。
学科按需
持续增加
规格细目
面向国内指南、医学文献与药品说明书，整合临床问题、相关资料、正确引用位置、参考结论和评价标准，包含资料不足与条文更新案例。
依据与引用14 项字段
用于呈现指南、文献、参考原文和引用位置。
| 字段 | 含义 | 取值 |
|---|---|---|
| 问题或任务内容 | 面向具体病例的完整临床问题或业务要求。 | 核对回答中的引用主张是否得到随附原文支持 |
| 依据适用条件 | 列出引用材料中的人群、场景、时间及其他限制。 | 该条文仅适用于其所列成人研究人群 |
| 不能由依据得出的结论 | 列出超出研究设计或观察范围的推断。 | 不能据此确认个体患者的治疗效果 |
| 解答引用对应 | 逐条关联回答中的主张与所引用的依据。 | 主张 C01 → REF0001 第 4 段 |
| 引用主张 | 从回答中拆出的、需要依据支持的独立主张。 | C01：对目标人群作出的结论 |
| 正确引用位置 | 参考判断采用的文献、页码、章节或原文片段。 | REF01，第 4 页，结果第 2 段 |
同组还包括 资料原文或可访问位置、相关条文原文、原文定位、临床问题要素、研究设计及依据特点、依据支持的具体结论、参考资料编号、资料发布机构或作者
评价任务与判据3 项字段
关联评价题目、评分条目及计算口径。
| 字段 | 含义 | 取值 |
|---|---|---|
| 评分条目编号 | 一道题内某项独立评分标准的编号，每一条目单独记录。 | PJ0001-01 |
| 条目评分方式 | 说明本条按何种规则判定及汇总，区别事实、计算与判断。 | 按条判定满足/不满足；缺依据单独记录 |
同组还包括 评价题目编号
工具任务过程2 项字段
用于呈现工具调用、任务步骤、会诊审阅、异常处置和人工接管。
| 字段 | 含义 | 取值 |
|---|---|---|
| 任务可见资料范围 | 明确作答或办理时可以使用的材料及时间界限。 | 仅使用2025-03-01 10:00前已出具的记录 |
同组还包括 任务约束条件
患者与就诊信息3 项字段
用于建立患者、就诊、机构和时间维度的匿名关联。
同组还包括 病例编号、患者年龄、患者生理性别
影像与报告1 项字段
用于维护影像、信号、检查报告和结构化所见之间的配对关系。
同组还包括 病例影像或信号材料
病史与诊疗过程1 项字段
用于呈现病史、诊断、医嘱、治疗和处置过程。
同组还包括 病例现用药物
检查检验1 项字段
用于呈现实验室检验、检查项目和指标变化。
同组还包括 病例肝肾功能资料
质量核对要点
引用定位到具体原文，核对其与结论的支持关系及适用条件；资料注明来源与版本。检索命中、引用准确和结论正确分别评价。
怎样核对
固定检索资料库和版本后，把问题、引用位置和参考结论对应；更新与资料不足情境单列。
召回、引用准确性、主张支持分别核对；引用位置正确,结论也须适用于问题中的人群与条件。
- 01
说明
工作 目标 提供任务或研究问题、所需资料、使用阶段与预期交付格式。
- 02
核对
样本 与 条件 确认来源、使用范围、内容覆盖、版本与缺失，区分已有材料和需加工的部分。
- 03
约定
试制 与 接收 按项目确认批次、质量检查、验收方式与交付安排。
相关伙伴与机构
