NVIDIA GeForce RTX 4080
NVIDIA GeForce RTX 4080 是 NVIDIA 推出的一款 高性能 GPU。 配备 16 GB 显存，足够运行大多数中大型开源模型 它提供 48.74 TFLOPS 的 FP32 计算性能 ，拥有 716 GB/s 的内存带宽 可以运行数据库中 20 个模型。 对于希望在大模型上获得流畅性能的本地 LLM 爱好者来说，这是一个可靠的选择。
技术规格
| 厂商 | NVIDIA |
| 完整型号 | NVIDIA GeForce RTX 4080 |
| 显存 | 16GB |
| 性能等级 | 高端 |
| 跑分评分 | 34,600 |
| FP32 算力 | 48.74TFLOPS |
| 内存带宽 | 716GB/s |
| 兼容模型 | 20可在该 GPU 上运行的模型数量 |
优势
- 16 GB 显存 — 适合大多数最高约 300 亿参数的模型
- 48.74 TFLOPS — 强大的计算性能，token 生成速度快
- 716 GB/s 带宽 — 适合大模型推理
局限
兼容模型 (20)
DeepSeek85%
DeepSeek R1 Distill Qwen 14B Q4_K_M
14.0B
11.9 GB
Q4_K_M
131,072 ctx
Qwen84%
Qwen3 14B Q4_K_M
14.0B
11.9 GB
Q4_K_M
32,768 ctx
DeepSeek83%
DeepSeek V3 Lite Q4_K_M
16.0B
13.6 GB
Q4_K_M
32,768 ctx
Phi83%
Phi-4 14B Q4_K_M
14.0B
11.9 GB
Q4_K_M
16,384 ctx
Yi83%
Yi 1.5 9B Q8_0
9.0B
12.6 GB
Q8_0
4,096 ctx
Llama82%
Llama 3.1 8B Q8_0
8.0B
11.2 GB
Q8_0
8,192 ctx
Gemma82%
Gemma 3 12B Q4_K_M
12.0B
10.2 GB
Q4_K_M
32,768 ctx
DeepSeek82%
DeepSeek R1 Distill Llama 8B Q8_0
8.0B
11.2 GB
Q8_0
131,072 ctx
DeepSeek81%
DeepSeek R1 Distill Qwen 7B Q8_0
7.0B
9.8 GB
Q8_0
131,072 ctx
Yi81%
Yi 1.5 9B Q4_K_M
9.0B
7.7 GB
Q4_K_M
4,096 ctx
Qwen80%
Qwen3 8B Q8_0
8.0B
11.2 GB
Q8_0
32,768 ctx
Llama80%
Llama 3.1 8B Q4_K_M
8.0B
6.8 GB
Q4_K_M
8,192 ctx
还有 8。查看 模型库获取完整列表