直接答案
Ollama 所需显存取决于模型文件大小、量化版本、上下文长度和 GPU 卸载层数。模型文件大小可作为起点，但应额外预留 KV Cache 与运行时空间；显存不足时会部分使用系统内存，速度可能明显下降。
先记住这四点
- 确认具体量化标签
- 给上下文缓存预留空间
- 观察 GPU 实际卸载比例
- 用真实输入长度测试
为什么同一个模型占用不同
同名模型可能有 Q4、Q5、Q8 等不同量化文件，文件尺寸和运行质量不同。上下文窗口越长，KV Cache 占用越大；同时运行多个会话时，还要考虑并发带来的额外内存。
部署前的检查清单
下载前确认模型标签与架构兼容性，运行后查看 Ollama 和系统监控中的 GPU/CPU 占用。先用短上下文验证，再逐步增加到真实业务长度。
- 不要只按参数量猜显存
- 避免系统内存和交换空间被占满
- 记录首字延迟与生成速度
常见问题
显存不够时 Ollama 会直接报错吗？
不一定，部分场景会转而使用系统内存或减少 GPU 卸载，能够运行但速度会下降。
模型文件大小能直接等同显存吗？
不能。它只能作为权重占用的近似起点，还要加上上下文和运行时开销。