快速结论
先满足官方硬件与依赖要求,固定仓库提交和子模块,再在隔离环境构建。当前教程针对离线示例,不会自动部署完整托管 API。
- NVIDIA 和昇腾使用不同加速平台设置。
- 默认模型为 DeepSeek-V4.1-Flash-1017。
- 本文提供阅读与准备步骤,没有安装或执行模型。
本次更新:补充严格布尔解析和启动配置检查,保留原硬件与离线范围。
本教程按 10 月 22 日官方 README与示例说明整理。命令供具备相应集群资源的开发者参考,本站没有运行构建或推理。
1. 核对支持列表
| 项目 | 官方当前要求 |
|---|---|
| 系统与编译器 | Linux,GCC 至少 13.0 |
| Python | 3.12 |
| NVIDIA | SM100 GPU、CUDA 13 |
| 华为昇腾 | Ascend 950 NPU、CANN 9.2 |
| 模型 | 当前支持 V4.1-Flash,默认示例使用 1017 检查点 |
硬件在列表中不等于任意卡数、量化或上下文配置均能运行。根据目标模型与示例核对显存、磁盘、互联和并行设置,再决定是否开展验证。
2. 固定源码与子模块
在专用目录获取官方仓库,记录完整提交 SHA 和子模块版本。10 月 21 日的提交更新了 DeepEP 依赖及构建脚本,不能用 main 的名称替代版本记录。
先创建并激活空白 Python 3.12 环境,再在仓库根目录按 README 选择平台:
# NVIDIA 平台;昇腾平台将值改为 ascend
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
运行示例时继续保留该环境变量,使扩展选择正确平台。出现构建错误时,保留首个失败位置与依赖版本,不通过混装另一平台的软件包来试错。
3. 明确模型从哪里读取
默认模型首次运行会下载到 Hugging Face 缓存。已准备本地副本时,可按官方说明设置:
export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py
路径是占位示例。示例文档说明,显式传入 --model_name 时,该参数不会被上述默认路径变量覆盖。本地目录应包含所需配置与权重文件,不能只创建一个同名空目录。
4. 离线成功后再规划服务层
检查样本输出、设备日志与实际模型版本,再扩大任务范围。完整在线服务还需要缓存、分离部署和副本负载均衡等部分,公开仓库没有把这些全部交付。
评测方法见DeepInfer 离线评测教程,服务选型可参考API 与权重部署对照。
10 月 25 日:启动前核对严格布尔解析
提交 5537415 更新 environ.py:通过 _bool 读取的变量只接受明确真假集合,非法字符串会报错。0/1 与 true/false 可按源码使用,yes、off 或前后空格不要沿用。
平台名、模型路径与整数参数不属于同一种配置。保留原启动记录,按环境变量教程逐层检查覆盖项,并在新进程验证;不要用 main 名称替代具体提交。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。