Command R

Command R 35B Q4_K_M

Command R 35B Q4_K_M 是 Command R 家族的一款大规模模型,采用 4 位高压缩量化。拥有 35 亿参数,分布于 40 网络层,拥有高达 131K 的超长上下文窗口,需要旗舰级硬件才能达到最佳性能。它在同类模型中名列前茅,质量评分 87/100。

技术规格

模型家族Command R
完整名称Command R 35B Q4_K_M
参数量35 B35,000,000,000 总参数量
量化格式Q4_K_M4-bit
推荐显存29.8GB最低显存 21 GB
上下文长度131,072tokens
隐藏维度8192
网络层数40
质量评分87/100
模型体积17.5 GB仅模型权重,不含 KV Cache

Strengths

  • 高质量评分(87/100)— 适合生产环境使用
  • 超长 131K 上下文窗口 — 适合处理长文档
  • 高压缩量化(Q4_K_M — 4 位)— 显存占用极小
  • 大参数量 — 强大的推理和生成能力

Limitations

  • 高显存需求(29.8 GB)— 仅限高端 GPU
  • 高压缩量化可能带来轻微质量损失
  • 大模型需要大量显存,运行速度可能较慢
下载模型在 HuggingFace 查看

FAQ

Command R 35B Q4_K_M — Specs, VRAM Requirements & GPU Recommendations — LLMFit Web