快速结论
团队报告指定配置下预填充最高达实测 DeepInfer 的 1.04 倍、解码步长最多缩短 7.4%；这些是特定基准结果。
- 报告发布于 10 月 24 日，本篇于 26 日补录。
- 测试方为 SGLang 团队，本站没有复跑。
- 同硬件不代表所有配置和统计方法完全相同。
本次更新：10 月 26 日核对原始来源后新增，区分消息日期、开发构建与实际验证范围。
SGLang 团队于 10 月 24 日发布与 DeepInfer 的对比报告，本篇于 26 日补齐。团队在 4 张 GB300/B300 的预填充测试中报告最高 1.04 倍吞吐，在 64 张 GB300 的解码测试中报告最多 7.4% 的步长缩短。
看清两条基线
原文区分自行测得曲线与从 DeepInfer 原图读取的公布曲线。判断上述差距时应使用对应实测基线。附录还保留了预填充统计与提示词安排、解码 Engram 放置及草稿冗余专家等差异。
对部署评估的启发
以下为本站编辑建议。整理性能材料时，保存每个点的硬件、源码提交、权重、输入长度、缓存状态和统计方式。把无法对齐的字段明确留空，避免仅凭图中最高点决定容量。
上线评估另设三道检查：必要 API 能否接入；目标负载下结果、延迟和费用是否可接受；长时间运行及异常恢复是否达标。离线基准只能回答其中一部分。
阅读方法见推理框架基准对照教程。本站没有独立复现，不能将 NVIDIA 测试推算为昇腾结果。
参考资料
本文依据以下资料整理，版本与接口信息请以来源页面的现行说明为准。
阅读至此返回学习中心