快速结论
当前 Cookbook 提醒 V4.1 Flash 支持尚未进入普通发布包,NVIDIA 使用指定预览镜像;必须随所选硬件配方核对。
- 本轮读取时间为 10 月 26 日。
- 预览镜像与普通安装包的支持状态需要区分。
- 教程为准备和验收建议,未执行容器或下载权重。
本次更新:10 月 27 日下午补充:10 月 27 日:把请求隔离加入部署验收。保留原网址与首次发布时间。
开始前确认目标硬件、可用内存、模型权重和软件来源。本文是部署前准备流程,不是一条可用于任意机器的启动命令。
1. 先核对当前分发路径
10 月 26 日读取的官方 Cookbook 提醒,DeepSeek-V4.1 Flash 支持尚未进入普通 SGLang 发布包;NVIDIA 配方使用 lmsysorg/sglang:dev-dsv41 预览镜像。实际执行时再次查看文档,因为分发状态可能改变。
不要仅凭装好了名为 sglang 的包判断目标模型已经受支持。记录镜像标签,并在能获取时保留 digest、构建版本和依赖清单。
2. 按目标任务选配方
在文档中选择自己的硬件和目标部署方式,保存生成的完整参数及解释。第一次试跑先使用对应配方,避免从多个博客拼接不同版本的参数。
将任务目标写成可验收的句子,例如“单个测试会话能返回正确结果,并留下模型与请求记录”。后续再根据真实需求扩展并发和上下文长度。
3. 逐层核对接口
| 阶段 | 验收记录 |
|---|---|
| 进程启动 | 模型、权重、设备与错误日志 |
| 普通文本 | 返回内容、结束状态、用量 |
| 思考输出 | 思考与最终答案是否按客户端预期分开 |
| 工具调用 | 参数、实际执行、结果回传与最终回答 |
| 多轮会话 | 上下文是否正确延续 |
服务返回 HTTP 200 与客户端能正确消费内容是两个检查点。工具测试先用只读样例,保留每一步原始响应与执行记录。
4. 扩容前形成基线
记下请求集、并发、耗时分布、失败数和显存占用,再一次调整一个变量。大上下文、缓存和分离部署另建记录,不把单用户试跑结果直接作为生产容量。
配置更新后重新核对镜像与参数,保留可回到的工作版本。本文没有启动容器、访问设备或运行模型,不能据此声称已完成部署。
10 月 27 日:把请求隔离加入部署验收
SGLang 新披露了分离式服务的请求隔离修复,部署准备需另留拓扑、后端和构建记录。参见升级验收教程。这项维护检查与本篇模型接入准备分别记录,本文没有确认读者的具体部署是否受影响。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。