快速结论
Dory 通过重复共享层增加每 Token 的计算。官方 GGUF 卡列出 4B 参数与最高 256K 上下文,量化结果仍需按实际后端评估。
- 官方 GGUF 模型卡标注发布日期为 10 月 16 日。
- 模型采用循环架构,提供可调整推理循环次数。
- 模型卡提醒 GGUF 量化包与 BF16 评测不是同一运行条件。
本次更新:10 月 18 日核验后新增;区分消息日期、版本范围与方法示例。
NVIDIA 官方 Dory GGUF 模型卡标注发布日期为 10 月 16 日。本篇补录近期小模型研究,核验日期为 18 日。
共享层循环改变计算量
Dory 采用循环架构,可通过改变共享层重复次数调整每个 Token 的计算预算。模型卡列出 4B 参数、最高 256K 上下文及 Q5_K_M 格式,并给出 OpenMDW-1.1 许可入口。
循环次数与输出 Token 数是不同维度。更多内部计算可能改变答案与输出长度,端到端耗时仍取决于任务和运行环境。
量化包如何看评测
官方卡明确指出相应基准为 BF16 条件,不能直接等同于 GGUF 包的表现。部署时应记录量化格式、后端、上下文、循环次数和并发。
与 DeepSeek 本地方案怎样比较
编辑建议以固定任务比较完成率、总耗时、内存及结果可核对程度,而不是把不同架构的参数量当成同一性能指标。终端、工具和中文任务还应各自建立样本。
本文没有下载模型或运行测试,不给出它在特定电脑上胜过 DeepSeek 的结论。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。