快速结论
云 API 使用服务别名并按实际账单结算;权重部署需要管理修订、推理后端、模板、硬件与运维。按实际任务比较总成本和可复现性。
- 官方云端 Flash 服务已升级至 1017。
- 官方模型卡提供开放权重。
- vLLM 配方中部分硬件测量仍来自旧检查点。
本次更新:10 月 18 日核验后新增;区分消息日期、版本范围与方法示例。
模型权重公开后,调用服务与部署模型是两种不同工作量。本篇结合模型卡和 vLLM 配方,提供选择框架,没有做两类部署实测。
| 维度 | 官方云 API | 自托管权重 |
|---|---|---|
| 版本记录 | 保存服务标识与日期 | 固定仓库修订、量化和模板 |
| 运行环境 | 由服务商维护 | 自行维护后端与设备 |
| 数据路径 | 核对云端服务条款 | 核对模型、工具与日志的数据流 |
| 费用 | Token、检索及业务工具 | 设备、资源、维护与人员 |
| 复现 | 保存请求和返回信息 | 同时保存镜像、参数及依赖 |
开放权重不等于可在任意设备直接运行
要分别判断内存、量化格式、推理内核与模板。先完成最小正确性检查,再观察目标负载;不要将活跃参数量直接当作全部显存需求。
旧测量不能冒充新测量
vLLM 配方将 1017 列为默认检查点,同时说明部分硬件及测量数据来自旧权重,未分别重跑。即使配置和结构相同,也应说明自己验证了哪一版。
昇腾部署应继续核对具体后端、权重和硬件支持范围;旧 V4.1 支持声明不能独自证明 1017 的所有运行组合已经验收。记录方法见昇腾版本矩阵。
如何选择
编辑建议先列延迟、数据范围、并发、可用性和维护能力,再用固定任务计算总费用。资料不充分时保留待验证项,避免凭一个单价或一个榜单决定方案。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。