独立样本索引.json
说明样本来源及与开发资料的关系。
{
"任务编号": "TA001",
"病例": "CASE03",
"来源机构": "CENTER03",
"用途": "独立测试",
"独立性检查": "实际交付记录来源隔离与重复核查结果"
}文件提示
先核对划分与重复结果,再开始测试。
病例来自多个中心,按机构或时间与开发数据分开。每例注明来源机构代号、医院层级、科室和资料时点,以及它与训练资料的关系:属于开发组还是独立测试组,划分单位是什么。
参考结果在测试前确定,记录由哪些材料、哪些专业人员、按什么依据形成;复核时不提供被测模型的输出。评价指标同样预先固定,主要指标和次要指标各写明定义与分母,人群分层也事先约定。
交付附独立性核查,核对病例是否与开发数据重复、划分单元是否一致。各中心保留设备型号、人群和采集条件;需要影像或信号的任务,原件与检查编号、报告按病例配对。数据集名称本身不意味着任何模型已完成临床验证。
独立样本索引记着病例、来源机构代号和用途“独立测试”,另有一栏留给来源隔离与重复核查结果。参考结果记录写明参考版本、依据位置和复核条件。预设指标表列出主要指标“关键任务要求满足比例”和次要指标“未支持结论的病例比例”,分母都是本次可评价病例数。样本划分表把开发机构组与独立机构组分开。
说明样本来源及与开发资料的关系。
{
"任务编号": "TA001",
"病例": "CASE03",
"来源机构": "CENTER03",
"用途": "独立测试",
"独立性检查": "实际交付记录来源隔离与重复核查结果"
}先核对划分与重复结果,再开始测试。
区分参考结果、确定依据和复核条件。
{
"任务编号": "TA001",
"病例": "CASE03",
"参考": "REF03 v1",
"依据": "实际交付保留原始材料位置",
"复核条件": "专业复核时不提供本次被测模型输出"
}独立确定参考,再与模型结果比较;本例不展示未经证实的诊断。
将主要、次要指标及分母预先固定。
| 指标 | 定义 | 分母 |
|---|---|---|
| 主要指标 M01 | 关键任务要求满足比例 | 本次可评价病例数 |
| 次要指标 M02 | 未支持结论的病例比例 | 本次可评价病例数 |
| 人群分层 | 按方案预设来源及人群 | 各层可评价病例数 |
实际研究使用预先确定的指标。
解释列的含义、取值和关联方式。
| 字段 | 含义 | 样例 |
|---|---|---|
| 来源机构代号 | 记录独立来源机构的项目内代号。 | CENTER03 |
| 来源医院层级 | 保存来源机构在本项目中的层级信息与资料时点。 | 按来源资料载明的层级记录 |
| 预设主要评价指标 | 在评价开始前约定的主要指标及计算口径。 | 主要指标 M01;定义与分母见评价方案 |
| 参考结果确定方法 | 记录参考结果由哪些材料、人员或方法形成。 | 由指定专业人员按既定依据确认 |
在导入数据前核对含义、空值与单位,避免仅按列名理解。
说明覆盖范围、缺失、核查方式与版本变化。
先看覆盖与缺失,再决定是否适合研究、训练或评价。
组织独立来源、独立划分的任务与参考结果,用于跨机构或版本验证;独立性与适用范围分别核查。
将训练、开发或独立测试分开,并记录划分单位。
| 样本 | 分组单位 | 划分 | 版本 |
|---|---|---|---|
| C001 | 开发机构组A | 开发 | v1 |
| C003 | 独立机构组C | 独立测试 | v1 |
按患者、机构或时间等约定单位隔离;具体方案尚未确定。
从总清单找到每一例资料及其文件。
| 病例编号 | 就诊编号 | 材料目录 | 观察范围 |
|---|---|---|---|
| P001 | V001 | cases/P001/ | 本次住院 |
| P001 | V002 | cases/P001/followup/ | 出院后一次复查 |
先按索引选病例,再用同一编号关联文书和数据表。
写明输入、需完成的工作和应提交的文件。
先读任务和允许使用的材料,再开始生成;提交时按文件清单核对。
给出可对照的目标产物和未决事项。
用于学习或人工复核;独立评价时与模型输入分开。
按可观察行为或产物逐项评价。
| 评分项 | 满足条件 | 核对位置 | 判定 |
|---|---|---|---|
| 结果 | 与独立参考 RF003 比较 | 模型输出 | 按预设指标 |
| 适用范围 | 报告中心及人群覆盖 | 评价报告 | 明确列出 |
先逐项检查再汇总;材料不足和模型错误分别记录。
说明观察单位、文件之间如何连接以及使用范围。
交付前用样本和说明共同核对读取方式。
文件清单包含文件名称、版本和校验信息。
| 文件 | 版本 | 记录/页数 | 校验信息 |
|---|---|---|---|
| 样本划分.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 病例索引.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 任务说明.md | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 参考结果.md | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 评分标准.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 使用说明.md | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
| 文件与版本清单.csv | 版本 v1 | 实际交付时填写 | 实际交付时生成 |
接收时检查文件齐全、版本一致,再导入或开始任务。
页内展示的是样本预览;完整样本按“样本获取”一栏的方式提供。
多中心
持续增加
围绕独立机构或独立时期的病例与检查资料,按病种、地区、医院层级和设备组织参考结果、预设评价标准与人群分层,用于跨院适用性和独立评价项目设计。
保留评价指标、参考结果的形成方法与独立性。
| 字段 | 含义 | 取值 |
|---|---|---|
| 预设主要评价指标 | 在评价开始前约定的主要指标及计算口径。 | 主要指标 M01;定义与分母见评价方案 |
| 预设次要评价指标 | 预先约定、用于补充解释结果的指标。 | 次要指标 M02;单独报告 |
| 参考结果确定方法 | 记录参考结果由哪些材料、人员或方法形成。 | 由指定专业人员按既定依据确认 |
| 参考结果复核独立性 | 记录形成或复核参考结果时是否接触被测输出等条件。 | 复核时不提供本次被测模型输出 |
| 独立参考结果 | 保存对应病例的参考判断、版本和形成依据。 | CASE03 → REF03 v1;依据位置随记录提供 |
用于建立患者、就诊、机构和时间维度的匿名关联。
| 字段 | 含义 | 取值 |
|---|---|---|
| 来源机构代号 | 记录独立来源机构的项目内代号。 | CENTER03 |
| 来源医院层级 | 保存来源机构在本项目中的层级信息与资料时点。 | 按来源资料载明的层级记录 |
同组还包括 病例编号、患者年龄、患者生理性别、检查编号、信号记录编号、来源科室
用于呈现实验室检验、检查项目和指标变化。
同组还包括 病例肝肾功能资料、检查时间、检查项目、检查部位、检查设备型号、医师检查所见、医师检查结论、原始检查与病例对应
关联评价题目、评分条目及计算口径。
同组还包括 评价题目编号、评分条目编号、条目评分方式
用于呈现工具调用、任务步骤、会诊审阅、异常处置和人工接管。
| 字段 | 含义 | 取值 |
|---|---|---|
| 任务可见资料范围 | 明确作答或办理时可以使用的材料及时间界限。 | 仅使用2025-03-01 10:00前已出具的记录 |
同组还包括 任务约束条件
用于维护影像、信号、检查报告和结构化所见之间的配对关系。
同组还包括 病例影像或信号材料、原始影像资料、影像与报告对应关系、图像空间分辨率、图像层厚、报告签发时间、信号与判读报告对应关系
用于呈现病史、诊断、医嘱、治疗和处置过程。
同组还包括 病例现用药物
用于呈现指南、文献、参考原文和引用位置。
| 字段 | 含义 | 取值 |
|---|---|---|
| 问题或任务内容 | 面向具体病例的完整临床问题或业务要求。 | 按预先确定的指标评价独立中心的病例结果 |
独立机构或时期与开发数据的关系明确,核对病例重复及划分单元。各中心保留设备、人群和采集条件,参考结果与评价标准在测试前确定。
按机构或时间划分开发外资料,病例连接参考结果及其确定依据
资料的独立性需核对训练来源与重复;产品名称不构成模型已经临床验证、获益或部署有效的结论。
提供任务或研究问题、所需资料、使用阶段与预期交付格式。
确认来源、使用范围、内容覆盖、版本与缺失,区分已有材料和需加工的部分。
按项目确认批次、质量检查、验收方式与交付安排。

