快速结论
固定同一组问题、日期、接口与预算,分别记录搜索决策、结果来源及结论支持度;搜索次数和引用数量都不足以单独代表质量。
- 参考论文于 9 月 16 日提交,本文为方法解读。
- 论文研究四类对话平台,结合真实交互与受控实验。
- 下方评估表是本站建议,不是论文或厂商给出的最新榜单。
本次更新:10 月 20 日核对一手来源后新增;消息日期、发布状态和适用范围在正文标明。
DeepSeek 开放独立 Search / Fetch 接口后,团队需要评估完整任务的效果。一篇 9 月 16 日提交的搜索 Agent 预印本提供了有用的分析思路:把搜索决策、查询构造、结果与最终回答一起观察。
论文结论可以怎样理解
研究结合真实用户交互与受控实验,比较 ChatGPT、Claude、Grok、DeepSeek 的搜索行为。摘要指出,各平台搜索决策和查询策略存在差异,更频繁调用搜索不必然带来更高回答质量;有些回答还使用了未被正式引用的搜索结果。
它是特定研究条件下的预印本,不是 10 月 17 日新 Search API 的独立实时排名。平台、模型、检索后端和评测时间均需保留,不能把旧结果直接套给今天的接口。
建议建立一张任务级记录表
| 层次 | 记录什么 | 如何判断 |
|---|---|---|
| 搜索决策 | 是否触发检索,是否遗漏时效要求 | 需要外部事实的问题有没有查证 |
| 查询与结果 | 查询词、站点、日期、重复结果 | 是否覆盖关键实体与一手来源 |
| 正文获取 | 可用正文和失败原因 | 能否读到支持结论的实际内容 |
| 回答与引用 | 每项事实对应的来源和位置 | 来源是否真的支持相邻结论 |
| 成本与时间 | 请求数、Token、人工复核时间 | 每个合格任务的总成本是多少 |
这是本站建议的评估框架,尚未据此发布分数或模型排名。取一组有标准答案或容易核对的问题,固定同一时间窗口、来源范围和预算,再比较结果,才更容易解释差异。
关注失败,而不只统计引用数
将无结果、正文不可用、引用不支持、时间过期和回答遗漏分别记录。一个回答引用很多页面,仍可能漏掉关键证据;搜索成功也不等于最终结论正确。
执行时可用日期与站点筛选教程约束候选来源,再按RAG 引用校验方法检查结论。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。