HiDeepSeekDev
空闲特惠
研究解读DeepSeek HarnessAgent论文解读评测模型选型

论文解读:模型、Harness 与任务为什么要一起评估

解读 Finding the Right Fit 的 66 组配置与三个 Agent 基准:模型排名会随 Harness 改变,最佳组合也随任务变化。本文为 10 月 12 日对第三方 10 月 1 日论文的资料解读,补充业务选型方法。

快速结论

一个模型在某个 Harness 上得分高,不能推断换框架或换任务后仍然领先。选型应固定业务任务,同时比较模型、Harness、预算与最终结果。

  • 论文 v1 于 2026 年 10 月 1 日提交,本文于 10 月 12 日解读,不属于新提交的官方 DeepSeek 论文。
  • 作者评估 66 组配置,涉及四个可配置 Harness、五个模型和原生产品组合。
  • 三个基准为 TUA-Bench、ALE-CLI、Terminal-Bench 4;作者开放代码和 6,204 条已评分轨迹。
  • 作者报告模型排名及最佳 Harness 随环境变化;结论适用于论文实验配置,不能直接覆盖当前所有版本。

本次更新:10 月 12 日核验后新增,明确发行日期、适用范围与资料解读性质。

本文于 10 月 12 日解读第三方研究 Finding the Right Fit: Model-Harness Interactions across Agent Tasks。论文 v1 提交于 10 月 1 日,讨论的是模型与运行框架的搭配,不是 DeepSeek 的新模型发布。

研究比较了什么

作者评估 66 组配置,在 TUA-Bench、ALE-CLI 和 Terminal-Bench 4 上比较 OpenHands、DeepSeek Harness、PI、openJiuwen 与多个模型及原生产品组合,并公开评测代码和 6,204 条已评分轨迹。

研究报告模型排名会随 Harness 改变;五个模型中的四个,其最佳 Harness 也会随基准变化。作者还观察到,厂商自己的 Harness 不总是最佳组合,更高成本不总带来更高分数。这些结论属于论文所用版本和实验设置。

怎样转成业务选型方法

**编辑建议:**先定义一组自己的任务,给每个任务相同的输入、工具权限和完成标准。然后改变一个因素,例如模型或 Harness,比较最终文件、工具参数和人工返工。不要一次更换模型、提示词、工具和预算,再把所有变化归因于模型能力。

记录项 业务中可以怎样填写
组合身份 模型 ID、Harness 版本、工具版本
完成标准 文件内容、字段正确性或任务状态
资源预算 时间、token、工具调用轮数
失败过程 参数错误、超时、恢复与人工介入

对选型最有用的,不只是平均分,还包括失败后是否能够恢复,以及用户能否复核结果。查看轨迹时,可从工具返回和最终产物检查失败位置,再决定修复配置、工具描述还是模型路线。

本文没有重新运行这些基准。将结果用于今天的产品时,应按当前模型、框架和业务数据重新验证;通用方法另见Harness 评测复现指南。

参考资料

本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。

  1. 01论文:Finding the Right Fit(arXiv v1)arxiv.org
  2. 02论文作者开放评测代码github.com
阅读至此返回学习中心