工作量 1–2 周
能力较强的研究人员投入 1–2 周，能做出明显改进，仍有继续改进的余地。
专家合作
把一个真问题，
出成一道能评分的题。
面向有观点、也能论证观点成立的领域专家。专家从研究中提炼一道小课题，用来评测并提升模型的科研能力；工程化与测试由数巨有谱完成。
一道题， 是什么样子
像把 给一道 研究 题 交给 新来 的 研究员： 能 数据跑 的 代码、 和 由评分标准， 对方 最后自己 研究； 用 检验没见 过 的 数据， 改进 是否 成立。
工作量
优化或建模
从能运行的初始方法出发，让一个可量化的指标持续变好。
产出是方法
课题交出的是一套代码，最终在新数据上重新运行、打分。
在计算机中完成
建模、仿真、数据分析、参数反演、优化求解与模型训练都在范围内。做实验研究的专家，可以把已有实验数据转成计算问题。
分工与三步
专家把专业问题变成好题。数巨有谱把打分器接入隔离、防作弊的评测环境，打包成标准运行环境，测试题目并反馈问题。
填
一页 表 几句话写清课题、评分方式和数据来源，不需要代码或数据。
一起
确认 选题 讨论课题是否合适、数据从哪来、单轮实验多久。
整理
素材， 修订1 – 2 轮 按交付规范整理素材。题面不清、评分有漏洞等测试中的问题，逐项修订。
一道题由什么组成
题的产出是一套方法，不是某组数据的答案。
研究者能看到
题面
相当于课题说明
目标、输入输出、可改范围与评分方式。
研究数据
相当于交给对方的实验数据
开发和比较方法时使用。
配套工具
相当于实验室里现成的仪器
仿真器、求解器等，只能调用，不能修改。
初始方法
相当于前人留下的能跑的代码
能完整运行，效果有限。
只给评审
隐藏数据
相当于专家留出的测试数据
只在最后检验时使用。
参考方法
相当于专家心中的“及格答案”
明显优于初始方法，不必是最优。
打分器
相当于打分标准
自动算分、检查约束，附评分规则。
另附一份运行说明，写清软件、硬件和运行命令，相当于实验室的操作规程。
只在研究数据上表现好、换到新数据就失效的方法，得分不会高。隐藏数据要能检验方法的泛化能力。
五个样例
样例展示一道题的结构和难度，课题不必与样例同属一个子领域。
AI 模型与智能体
长期对话记忆系统
给定多段长期对话，改进从抽取、存储、检索到作答的记忆方法，作答模型固定不变。
评分 隐藏对话上答案的词元级 F1，初始方法约 0.37。
物理科学与工程
潮汐海底摩擦反演
根据 22 个潮位站的观测反推全海盆摩擦参数，约 12% 的站点有故障且不标明。
评分 未观测站点的潮位误差：初始方法 0.139，参考方法 0.0146，理想水平约 0.0042。
优化、规划与控制
城市交通信号协调
只改约 600 个路口的信号配时，降低全网拥堵。
评分 初始方法的成本记 1.0，已知较好的方案约 0.80。
优化、规划与控制
带噪声的黑盒优化
10 个连续参数，目标未知、多峰且带噪声，每个实例最多评估 120 次。
评分 搜索全过程的质量占 70%，最终结果占 30%。
金融量化
企业估值驱动因素预测
从有缺失的财务历史，预测未来 5 年的增长率、利润率等估值驱动因素。
评分 估值相对误差中位数：初始方法约 0.207，已知较好的方案约 0.123。
四个方向
子领域不设限，能在计算机中完成并自动评分即可。
AI 模型与智能体
让大模型助手在长期对话中，记住并用好历史信息。
物理科学与工程
从稀疏、有故障的潮位观测，反推海底摩擦参数场。
优化、规划与控制
协调约 600 个路口的信号配时，降低全网拥堵。
金融量化
从不完整的财务历史，预测增长率、利润率等估值驱动因素。
什么样的题合适
| 合适 | 不太合适 |
|---|---|
| 有可量化的指标，能持续改进 | 只需给出判断、解释或问答式结论 |
| 全部在计算机中完成，自动评分 | 要靠湿实验、实物测试或人工判读 |
| 产出的是方法，能在新数据上检验 | 只为固定的一组数据求一个答案 |
| 多条路线各有长短，选错代价明显 | 一种教科书式的标准做法就接近最好成绩 |
| 改进空间明显，一步到位很难 | 换一个现成工具就接近满分 |
| 初始方法能跑通，短板来自方法本身 | 初始方法故意写错、报错或输出为空 |
| 单轮实验几分钟到两小时 | 单轮实验需要几天 |
| 评分条件比研究时更真实、更不确定 | 评分用的模型研究时完全可见，可以直接对着它求最优 |
题目追求科学有效，不必还原真实科研的全部复杂度。模型规模、网格精度和数据量都可以压缩，单轮实验建议 5–120 分钟。
简化的分寸，是保留让方法选择产生差异的核心难点，例如观测稀疏、噪声干扰、目标冲突或参数耦合，并说清舍掉了什么。潮汐样例舍掉了真实岸线、多分潮和非线性效应，保留了“观测稀疏导致参数场不唯一”和“部分站点故障”两个难点。
素材可以是自有数据、公开数据集、已发表模型生成的仿真数据，或真实研究中能单独评分的一环。
怎样算够难
难，不是做不出来，而是撑得起长时间、持续有效的研究，研究能力越强，做得越好。顶尖模型与对照模型各自研究这道题，每个最多 4 小时，研究曲线记录“到目前为止的最好成绩”。合格的题同时满足两条。
持续 3 小时以上
顶尖模型 3 小时后仍有新的有效改进，不是前 1 小时做完就原地踏步。
强弱拉得开
隐藏数据上，顶尖模型明显好于对照模型，且在多数实例上如此。
顶尖模型对照模型纵轴为最好成绩，圆点为结束时刻
好题逐级上升，3 小时后仍有突破，强弱终点分开；差题一步到顶，之后走平。
常见的难度不足
标准做法通吃
教科书式方法就能处理主要难点，半小时内超过参考方法。
评分函数可以直接求最优
研究时可用的模型就是评分用的模型，不确定性完全已知。
可改进的幅度太窄
指标中大部分是任何方法都避免不了的噪声或代价。
实例之间太相似
一套做法在所有实例上都适用，不需要识别情况、调整方法。
提交前， 花半天自检
标准
做法 检验 用领域里最常规的强方法直接做一次。它若已接近最好成绩，题目多半偏容易。
估计
上限 估出理论上最好能做到多少，看参考方法还差多远。
列出
方法 路线 写出至少 3 条值得比较、相互牵制的改进路线。
检查
分辨力 同一方法重复评估，分数波动应明显小于期望的改进幅度。
加难要来自问题本身：评分条件更真实，不确定性只部分已知，实例差异更大。单次计算很慢或刻意设障，不算难。
用专业判断， 说明这道题成立
选题确认后，专家用自己的科研经验回答五个问题。
- 您或您的团队做过这个问题吗？花了多久，哪一步最费功夫？
- 初始方法到参考方法提升了多少？还有哪些方向没来得及试？
- 文献里的方法怎样演进，为什么仍有改进余地？
- 简化保留了什么、舍掉了什么？隐藏数据为什么能检验泛化？
- 常规强方法能做到多少，上限大约在哪里？
这五个问题的回答，整理成一页半以内的《难度与有效性说明》，随素材一起提交。专家从科研经验出发的判断，往往比任何自动指标更可靠。
验收看什么
进入测试前，题目先满足基本要求：素材齐全、能从头跑通；两部分数据互不重叠；初始方法低分来自方法本身；参考方法明显更好；分数可以复算。
满足之后，最看重探索空间：方法路线多样，子问题相互牵制，第一轮改进之后仍有路可走，研究数据上的进步能带到隐藏数据。测试发现问题时，与专家一起修订，通常 1–2 轮。
不在范围内的课题
湿实验或实物实验类课题，GPU 算子与内核优化，大模型后训练（微调、强化学习训练），以及直接回答问题的问答类任务。
从一封邮件开始
写信到 business@shujuyoupu.com，邮件主题写“专家合作·课题”。回信附完整出题说明和一页信息采集表。初期只填这一页，简单写几句想到的课题即可。