研究发现:花哨的 harness 让编码 agent 更贵,却没更好
2026-10-24
厂商宣称 Claude Code、OpenCode 等新 harness 能带来分数提升,但山东大学两位研究者的一项实测给出了相反结论:在模型不变的前提下,换 harness 带来的成绩差异,与同一配置重跑两次的波动几乎一样大,而成本可能涨到三倍。唯一稳定的 harness 效应是 OpenCode 的持续落后,其中约一半差距可归因于输…2026-10-24
厂商宣称 Claude Code、OpenCode 等新 harness 能带来分数提升,但山东大学两位研究者的一项实测给出了相反结论:在模型不变的前提下,换 harness 带来的成绩差异,与同一配置重跑两次的波动几乎一样大,而成本可能涨到三倍。唯一稳定的 harness 效应是 OpenCode 的持续落后,其中约一半差距可归因于输…