Sakana AI 的自我改进模型：解题与评判变强，却难识别自身盲点

2026-10-13

Sakana AI 的自我改进模型在解题和评判上变得更好，但无法发现自身盲点。

一个单一语言模型通过“多智能体自我监督”（MASS）自我改进，无需外部帮助或更强教师模型。模型像自己的团队：把任务分配给自身的副本，评估结果，并为下一轮训练优化工作流。两轮后对基座模型的胜率升至近 70%，但方法有真实风险：内部评估器有时把有缺陷的步骤或被操纵的解决方案当作成功接受，并固化进下一个模型。

Sakana AI 的 MASS 方法让一个语言模型通过解题、评判结果和优化工作流来自我改进，无需更强教师模型。研究发现三个角色都有提升，但共享盲点会让错误被当作进展通过，并进入下一轮训练。

Sakana AI 和 UC Berkeley 的研究人员提出了“多智能体自我监督”（MASS），一种递归自我改进（RSI）方法。一个单一语言模型处理任务、优化工作方式并评估结果。作者认为，在研究前沿，即使专家也常常难以判断结果，因为验证可能需要昂贵的支持证据或漫长实验。根据论文，一项等离子体研究可能耗费超过 1.2 亿 CPU 小时。因此模型本身可能是最佳可用评判者，尽管它在审查自己的工作时可能漏掉自己的错误。用同一个模型来解题、检查和修改，可能强化这些错误而不是纠正它们。

受 AI 先驱 Marvin Minsky 的《心智社会》一书启发，研究人员关注模型如何划分工作。在 MASS 中，工作流是附加到提示中的文本，定义每个子智能体的角色和指令。“契约”规定每个子智能体必须返回什么信息以及必须执行哪些检查，而“跳”设定调用顺序。一个编排器在子智能体之间分配工作。例如，用历史价格测试交易策略时，数据专家的契约必须确保策略只使用在每个时间点可获得的信息。

在内部循环中，团队运行候选工作流时模型权重保持冻结，评估器将结果与当前“冠军”比较。优化器利用该反馈提出下一个工作流，主要通过更改契约和跳。在外部循环中，冠军在每个任务上运行 18 次，模型自己对结果排名并选择最多 15 次运行用于训练。研究人员在训练示例中从编排器的初始提示中移除工作流文本，以便模型学会仅根据任务组织工作。对子智能体的具体分配保留在记录轨迹中，LoRA 微调后模型再次承担所有三个角色。

基座模型是 Qwen3.6-27B，使用 Qwen Code 作为执行框架。研究人员使用 GPT-5.5 生成的十二个研究任务，涵盖金融、机器人和制药，保留三个用于测试、九个用于训练。只有八个产生训练数据，因为搜索在一个训练任务上找不到优于参考的工作流。

Sakana AI 与 UC Berkeley 提出 MASS，让单个语言模型通过分配任务、评判结果和优化工作流实现递归自我改进。两轮后对基座模型胜率接近 70%，但共享盲点可能把错误步骤当成成功，并带入下一轮训练。

这是什么信号

这项研究把“自我改进”从单次生成技巧推进到流程级：同一个语言模型既扮演执行者，又扮演评判者，还通过改写工作流来优化下一轮训练。MASS 的关键不在让模型多跑几次，而在于把角色分工、契约、调用顺序和评估反馈写进一个可迭代的闭环。原文给出的信号很明确：两轮后对基座模型的胜率接近 70%，说明模型能在没有更强教师模型的条件下获得可测提升。

为什么重要

传统后训练往往依赖更强模型、人工标注或外部验证。MASS 试图回答一个更现实的问题：当验证本身很贵时，模型能否自己组织工作并筛选结果。原文提到，前沿研究中的验证可能需要昂贵证据或漫长实验，一项等离子体研究可能耗费超过 1.2 亿 CPU 小时。若模型能兼任执行、评判和流程优化，就可能降低对持续人工介入的依赖。但这也把瓶颈转移到评估器：评估器与被评估者同源，共享盲点会把有缺陷的步骤当作成功，并固化进下一轮模型。

对谁有价值

第一，做 Agent 工作流和多智能体编排的团队，可以直接借鉴“契约 + 跳 + 编排器”的显式工作流设计。第二，模型后训练与评测团队，需要关注同源评估带来的错误固化问题，而不是只看胜率。第三，金融、机器人、制药等高验证成本场景的创新团队，可把 MASS 视为一种在专家验证稀缺时的候选方案，但必须配合独立审计。第四，AI 研究者可把它作为递归自我改进的可操作实验框架。

可以怎么行动

行动上，先把内部 Agent 流程显式化：为每个子角色写清返回信息、必须执行的检查和调用顺序，并保留完整轨迹。其次，在采用同源评估前，设置独立验证或交叉评审机制，至少对高风险步骤做人工抽查。再次，用小规模任务先测“错误被当成成功”的比例，再决定是否扩大训练轮次。最后，保留回滚点和版本审计，避免一次错误评估被写进下一版模型。原文中 12 个任务只有 8 个产出训练数据，也提示搜索流程本身需要监控失败率，不能假设每轮都能找到更优工作流。

风险或限制

最大限制是共享盲点：同一个模型解题、检查和修改，可能强化错误而非纠正错误。原文还提到，内部评估器有时会接受有缺陷的步骤或被操纵的解决方案。其次，实验设置特定：基座模型为 Qwen3.6-27B，使用 Qwen Code，任务由 GPT-5.5 生成，覆盖金融、机器人和制药，且只有 8 个训练任务产出数据。跨领域泛化、长期递归后的偏差累积、以及评估器被策略性绕过的风险，原文没有给出完整答案。因此它更像一个强信号和可复用流程框架，而不是可以直接无条件上线的生产方案。

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《Sakana AI 的自我改进模型：解题与评判变强，却难识别自身盲点》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。