HiDeepSeekDev
空闲特惠
新闻资讯DeepSeek生态动态

SGLang 0.5.23 补充报道:DeepSeek 预填充、低延迟路径与 PD 配置更新

近期 SGLang 发行涉及 DeepSeek V4.1 的预填充、DSpark 开销及分离式部署配置。

快速结论

SGLang 0.5.23 列出特定硬件与负载下的 DeepSeek 优化;升级需同时检查执行后端和预填充/解码两侧配置。

  • SGLang 0.5.23 列出特定硬件与负载下的 DeepSeek 优化;升级需同时检查执行后端和预填充/解码两侧配置。
  • 来源结论均明确归因,非本站独立复现。

本次更新:扩大近期选题范围,去重后补充报道并标注原始日期。

接下来可以做什么

生成可运行的 API 请求

选择接口与语言,生成请求代码,验证接入流程。

生成请求代码

SGLang v0.5.23 于北京时间 11 月 3 日 06:14:10 发布,GitHub 标记为非预发布。本篇补充近期与 DeepSeek 相关的发行内容,不将框架更新写成 DeepSeek 模型新发布。

预填充与解码分别看

维护方说明列出 GB300 上 DeepSeek V4.1 的预填充优化,以及选择启用的低延迟内核路径;DSpark 相关变更也减少逐步解码开销。相关提升均与指定设备、实现和测试负载有关,本站未复现。

分离式部署与缓存

发行记录涉及 PD 两端的 SWA bounded replay、MegaAttention 与握手中的 KV 布局,以及缓存布局相关修复。使用预填充/解码分离式部署时,应核对两侧版本、后端与数据布局,不能只替换其中一端便宣称完成升级。

上线检查建议

先在原硬件和隔离负载验证请求成功率、首字延迟和长上下文结果,再检查取消、断连和重试。独立记录并发、输入输出长度与缓存状态,保留原镜像;步骤见分离式部署验收。

本文于 2026 年 11 月 8 日核查,区分原始事件日期与本站补充报道日期。

参考资料

本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。

  1. 01SGLang v0.5.23 固定发行github.com
阅读至此返回学习中心