快速结论
一个模型在某个 Harness 上得分高,不能推断换框架或换任务后仍然领先。选型应固定业务任务,同时比较模型、Harness、预算与最终结果。
- 论文 v1 于 2026 年 10 月 1 日提交,本文于 10 月 12 日解读,不属于新提交的官方 DeepSeek 论文。
- 作者评估 66 组配置,涉及四个可配置 Harness、五个模型和原生产品组合。
- 三个基准为 TUA-Bench、ALE-CLI、Terminal-Bench 4;作者开放代码和 6,204 条已评分轨迹。
- 作者报告模型排名及最佳 Harness 随环境变化;结论适用于论文实验配置,不能直接覆盖当前所有版本。
本次更新:10 月 12 日核验后新增,明确发行日期、适用范围与资料解读性质。
本文于 10 月 12 日解读第三方研究 Finding the Right Fit: Model-Harness Interactions across Agent Tasks。论文 v1 提交于 10 月 1 日,讨论的是模型与运行框架的搭配,不是 DeepSeek 的新模型发布。
研究比较了什么
作者评估 66 组配置,在 TUA-Bench、ALE-CLI 和 Terminal-Bench 4 上比较 OpenHands、DeepSeek Harness、PI、openJiuwen 与多个模型及原生产品组合,并公开评测代码和 6,204 条已评分轨迹。
研究报告模型排名会随 Harness 改变;五个模型中的四个,其最佳 Harness 也会随基准变化。作者还观察到,厂商自己的 Harness 不总是最佳组合,更高成本不总带来更高分数。这些结论属于论文所用版本和实验设置。
怎样转成业务选型方法
**编辑建议:**先定义一组自己的任务,给每个任务相同的输入、工具权限和完成标准。然后改变一个因素,例如模型或 Harness,比较最终文件、工具参数和人工返工。不要一次更换模型、提示词、工具和预算,再把所有变化归因于模型能力。
| 记录项 | 业务中可以怎样填写 |
|---|---|
| 组合身份 | 模型 ID、Harness 版本、工具版本 |
| 完成标准 | 文件内容、字段正确性或任务状态 |
| 资源预算 | 时间、token、工具调用轮数 |
| 失败过程 | 参数错误、超时、恢复与人工介入 |
对选型最有用的,不只是平均分,还包括失败后是否能够恢复,以及用户能否复核结果。查看轨迹时,可从工具返回和最终产物检查失败位置,再决定修复配置、工具描述还是模型路线。
本文没有重新运行这些基准。将结果用于今天的产品时,应按当前模型、框架和业务数据重新验证;通用方法另见Harness 评测复现指南。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。