快速结论
在 Harness 自定义提供方中配置本地 Ollama 的兼容端点和已安装模型 ID;先做文本请求,再分别验证工具、图像和上下文。模型名称必须来自实际本地清单。
- Ollama 官方示例的兼容 base URL 为 http://localhost:11434/v1/,提供 /v1/models。
- Harness 自定义提供方需要配置服务地址、协议、凭据和模型信息。
- 本地模型能力取决于具体模型及服务支持,接口格式兼容不能保证工具或视觉能力完全一致。
- 本文提供文档配置模板,没有下载模型或进行本机运行实测。
本次更新:10 月 12 日核验后新增,明确发行日期、适用范围与资料解读性质。
本篇依据 Harness 模型配置文档与 Ollama 兼容接口文档,说明如何核对本地模型路线。示例假设 Ollama 已在同一台电脑运行,模型已安装;本文没有执行安装或下载。
1. 从实际模型清单开始
先确认本地服务可用,再查看 /v1/models 或本地模型清单,记录精确 ID。模型名称、量化和来源应以模型卡为准。Ollama 模型库中的 DeepSeek 名称可能对应不同规模或历史模型,不能据名称认定等同于当前官方 API 模型。
2. 自定义提供方配置表
在当前 Harness 的自定义模型 API 入口,逐项核对:
| 字段 | 本地示例或要求 |
|---|---|
| Provider ID | 自己定义的固定标识,例如 local-ollama |
| Base URL | http://localhost:11434/v1/ |
| API 协议 | 首先采用服务支持的 Chat Completions 格式 |
| 模型 ID | 实际已安装模型的完整 ID |
| 凭据 | 按本地接口与客户端要求填写 |
Ollama 官方兼容示例使用 ollama 作为客户端需要但本地服务忽略的 API Key。这个规则仅针对相应本地入口,不能套用到云模型或公司网关。
若 Harness 在容器或远端运行,localhost 指向那个运行环境,不一定是你的电脑;此时先确认实际网络路径,而不是反复改模型名称。不要给基础地址重复拼接 /v1。
3. 文本成功后再验收工具
先发一个简单问题,核对响应和模型标识。之后使用只读工具任务,观察是否生成正确的函数名和参数、应用是否真正执行,以及结果能否回到回答。每个阶段保留原始错误状态。
“能聊天”不等于“能完成 Agent 任务”。若工具循环不完整,先判断是模型能力、协议格式还是执行层问题;不要把失败隐藏为一个自然语言成功提示。
4. 图像与上下文单独核对
只有模型与服务明确支持图片时,才在 Harness 中声明图像输入。配置开关声明能力,不会替模型增加视觉能力。长上下文也应按模型和部署设置验证,并观察内存、延迟及截断。
编辑建议是保存一个固定的小任务,分别记录路线、模型、版本和最终文件,再扩大任务规模。后台外部工具的数据路径也应独立核对。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。