DeepSeek R1 Distill Llama 8B Q8_0
DeepSeek R1 Distill Llama 8B Q8_0 是 DeepSeek 家族的一款中等规模模型，采用 8 位量化。拥有 8 亿参数，分布于 32 网络层，拥有高达 131K 的超长上下文窗口，推荐使用高端 GPU 以充分发挥性能。它在同类模型中名列前茅，质量评分 82/100。
技术规格
| 模型家族 | DeepSeek |
| 完整名称 | DeepSeek R1 Distill Llama 8B Q8_0 |
| 参数量 | 8 B8,000,000,000 总参数量 |
| 量化格式 | Q8_08-bit |
| 推荐显存 | 11.2GB最低显存 9.2 GB |
| 上下文长度 | 131,072tokens |
| 隐藏维度 | 4096 |
| 网络层数 | 32 |
| 质量评分 | 82/100 |
| 模型体积 | 8.0 GB仅模型权重，不含 KV Cache |
Strengths
- 高质量评分（82/100）— 适合生产环境使用
- 合理的显存需求（11.2 GB）
- 超长 131K 上下文窗口 — 适合处理长文档
- 高精度量化（Q8_0 — 8 位）— 近乎无损的质量
Limitations
- 高精度意味着更大的显存占用和较慢的推理速度