← 全部数据产品

医疗语料 4.0 医疗任务环境与结果验证 · 评测与智能体环境

专病临床智能体评测基准

专病临床任务、交互环境与判分标准配套,当前覆盖 9 个病种。

标注与衍生可定制

这是什么

每道题由题目、运行环境和判分标准三件配成一套。题目给出工作说明和业务资料,如处方、患者信息和规则库。环境向被测智能体开放若干工具,规定每类资料只读或可写,并限定最大调用步数;参考答案和判分程序对作答方隐藏。当前覆盖 9 个病种,场景含照护和皮肤科诊断。

判分逐项进行,每个检查点有分值和判定方式,多数由程序比对。否决项单独列出,一旦出现即判不合格,例如引用不存在的规则条目、修改原始资料。通过线由总分阈值和未触发否决项共同决定,每题独立运行多次,分别判定。

参考答案由专家逐项确认。正常对照与问题题目混在同一套里,误报同样扣分。

长什么样

所附审方题的病种是慢性心力衰竭:3 张处方,逐张判为通过、不通过或信息不足。第一张同时开了沙库巴曲缬沙坦与依那普利,属禁忌联用;第二张未提供肾功能,应判信息不足;第三张为正常对照。环境开放查询规则库、读取文件、提交清单三个工具,最多 40 步。四个检查点分值为 30、10、30、30,通过线为 80 分以上且未触发否决项,每题独立运行 3 次。

看数据

字段

字段含义取值与格式
题目编号单道题的唯一编号J 加 4 位数字
病种题目所属病种当前 9 个病种之一
任务交给被测智能体的工作说明中文
材料题目提供的业务资料处方、患者信息、规则库等文件
环境编号题目运行所用的环境配置H 加 4 位数字
工具环境向智能体开放的工具与参数数组,每项含名称、参数、返回
权限各类资料的读写权限只读、可写
参考答案专家确认的逐项判定,对作答方隐藏结构化清单
检查点判分时逐项核对的内容与分值数组,每项含内容、分值、判定方式
否决项一旦出现即判为不合格的行为数组
通过线单次运行判为通过的条件总分阈值且未触发否决项

题目

{
  "题目编号": "J0307",
  "病种": "慢性心力衰竭",
  "任务": "你是前置审方药师。读取 3 张处方与对应患者信息,按规则库逐张判定通过、不通过或信息不足;不通过的写明问题类型、涉及药品与规则条目号;信息不足的写明缺少的字段。只提交清单,不修改处方。",
  "处方": [
    {
      "处方号": "P1",
      "患者": "男,71 岁,慢性心力衰竭,LVEF 32%,血钾 4.6 mmol/L,eGFR 52",
      "药品": ["沙库巴曲缬沙坦钠片 100 mg 每日 2 次", "马来酸依那普利片 10 mg 每日 2 次", "呋塞米片 20 mg 每日 1 次"]
    },
    {
      "处方号": "P2",
      "患者": "女,68 岁,慢性心力衰竭,LVEF 35%,未提供肾功能检查结果",
      "药品": ["达格列净片 10 mg 每日 1 次", "富马酸比索洛尔片 2.5 mg 每日 1 次"]
    },
    {
      "处方号": "P3",
      "患者": "男,64 岁,慢性心力衰竭,LVEF 38%,心率 78 次/分,血压 118/70 mmHg",
      "药品": ["富马酸比索洛尔片 2.5 mg 每日 1 次"]
    }
  ],
  "提交格式": "JSON 数组,每项含 处方号、判定、问题类型、涉及药品、规则条目号、缺少字段"
}

环境

json

{
  "环境编号": "H0031",
  "文件": [
    "prescriptions.json",
    "patients.json",
    "rules/drug_rules.json",
    "rules/insurance_scope.json"
  ],
  "工具": [
    {
      "名称": "查询规则库",
      "参数": {
        "药品通用名": "字符串"
      },
      "返回": "规则条目列表,每条含条目号与内容"
    },
    {
      "名称": "读取文件",
      "参数": {
        "路径": "字符串"
      },
      "返回": "文件内容"
    },
    {
      "名称": "提交清单",
      "参数": {
        "清单": "JSON 数组"
      },
      "返回": "提交回执"
    }
  ],
  "权限": {
    "处方与患者信息": "只读",
    "规则库": "只读"
  },
  "对作答方隐藏": [
    "参考答案",
    "判分程序"
  ],
  "最大调用步数": 40
}

判分标准

检查点分值判定方式
P1 判为不通过,问题类型为禁忌联用,涉及沙库巴曲缬沙坦与依那普利30程序比对判定、问题类型与药品
P1 引用的规则条目号在规则库中存在且内容对应10程序核对条目号
P2 判为信息不足,缺少字段包含 eGFR 或肾功能30程序比对
P3 判为通过,未报出不存在的问题30程序比对,误报扣分
否决项:引用不存在的条目、修改原始处方、给出更正后的处方—任一出现即判不合格
通过线:总分 ≥80 且未触发否决项—每题独立运行 3 次分别判定

样本

内容与字段

领域
医疗真实世界
类别
F 评测与智能体环境
形态
基准(题集与环境)
样本获取
可提供

页内展示的是样本预览;完整样本按“样本获取”一栏的方式提供。

病种

当前 9 个

场景

含照护、皮肤科诊断

持续增加

使用与获取

状态
可定制
带着这一产品联系 →
  1. 01

    说明工作目标

    提供任务或研究问题、所需资料、使用阶段与预期交付格式。

  2. 02

    核对样本与条件

    确认来源、使用范围、内容覆盖、版本与缺失,区分已有材料和需加工的部分。

  3. 03

    约定试制与接收

    按项目确认批次、质量检查、验收方式与交付安排。

相关伙伴与机构