NVIDIA GeForce RTX 3080
NVIDIA GeForce RTX 3080 是 NVIDIA 推出的一款 中端 GPU。 具备 10 GB 显存，可运行紧凑型到中等规模的模型 它提供 29.77 TFLOPS 的 FP32 计算性能 ，拥有 760 GB/s 的内存带宽 可以运行数据库中 19 个模型。 对于预算有限但仍想运行本地模型的用户来说，这是性价比最佳的选择。
技术规格
| 厂商 | NVIDIA |
| 完整型号 | NVIDIA GeForce RTX 3080 |
| 显存 | 10GB |
| 性能等级 | 中端 |
| 跑分评分 | 25,300 |
| FP32 算力 | 29.77TFLOPS |
| 内存带宽 | 760GB/s |
| 兼容模型 | 19可在该 GPU 上运行的模型数量 |
优势
- 10 GB 显存 — 适合小型到中等规模的模型
- 29.77 TFLOPS — 稳健的计算性能
- 760 GB/s 带宽 — 适合大模型推理
局限
兼容模型 (19)
DeepSeek81%
DeepSeek R1 Distill Qwen 7B Q8_0
7.0B
9.8 GB
Q8_0
131,072 ctx
Yi81%
Yi 1.5 9B Q4_K_M
9.0B
7.7 GB
Q4_K_M
4,096 ctx
Llama80%
Llama 3.1 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
8,192 ctx
Llama80%
Llama 3.1 8B 128K Q4_K_M
8.0B
7.4 GB
Q4_K_M
131,072 ctx
DeepSeek80%
DeepSeek R1 Distill Llama 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
131,072 ctx
DeepSeek79%
DeepSeek R1 Distill Qwen 7B Q4_K_M
7.0B
6 GB
Q4_K_M
131,072 ctx
Qwen78%
Qwen3 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
32,768 ctx
Mistral78%
Mistral 7B Q8_0
7.0B
9.8 GB
Q8_0
8,192 ctx
Mistral76%
Mistral 7B Q4_K_M
7.0B
6 GB
Q4_K_M
8,192 ctx
Qwen68%
Qwen3 4B Q4_K_M
4.0B
3.4 GB
Q4_K_M
32,768 ctx
Gemma68%
Gemma 3 4B Q8_0
4.0B
5.6 GB
Q8_0
32,768 ctx
Gemma66%
Gemma 3 4B Q4_K_M
4.0B
3.4 GB
Q4_K_M
32,768 ctx
还有 7。查看 模型库获取完整列表