Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%

2026-10-10

Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%。

Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。

Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，并以 SDPO 为对照；结果显示前沿模型仅达到人类论文 SDPO 增益的 15%。

这是什么信号：Epoch AI 发布 InnovationEval 评测，目标不是常规问答或刷榜，而是测试 AI 能否独立复现人类论文中的机器学习创新，并用 Self-Distillation Policy Optimization（SDPO）作为对照。公开信号给出的结果是：前沿模型仅达到人类论文 SDPO 增益的 15%。这意味着在“复现创新”这一更接近科研流程的任务上，模型能力与人类论文成果之间仍有明显差距。

为什么重要：它把评测焦点从“能否答题”推向“能否复现创新”。如果 15% 的对照成立，自动科研、AI 研究员和自主实验系统的短期预期需要校准。对模型厂商而言，这提示后训练和推理能力提升未必直接转化为科研复现增益；对研究团队而言，论文复现仍是检验模型真实价值的关键场景。

对谁有价值：AI 研究者、ML 工程师、AI for Science 产品与投资团队、论文复现和评测从业者，以及需要判断“模型能否替代部分科研流程”的技术管理者。该信号来自 AIHOT 精选，AIHOT 分类为 paper，分数 83，可作为论文与评测线索跟踪。

可以怎么行动：第一，找到 InnovationEval 的任务定义和评分方式，确认 15% 具体对应什么口径；第二，把“复现论文创新”纳入内部模型评测，而不只看通用榜单；第三，用 SDPO 等对照方法建立基线，记录模型能否复现增益、复现到什么程度；第四，跟踪 Epoch AI 后续更新，观察不同前沿模型在该评测上的变化。

风险或限制：目前公开信号只给出一个相对比例，缺少任务范围、模型版本、评测条件和统计口径等细节，不能据此断言 AI 不能做科研。创新复现也不等于提出新创新，基准覆盖的论文创新类型可能有限。因此，15% 更适合被看作能力边界信号，而非最终结论。

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 epochai.substack.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。