按显存划分的最佳本地大模型

80 GB 显存的最佳大模型

选择你的显存大小。我们按任务为推荐量化下能放得下的所有收录模型排名,并展示升一档能解锁什么。

作者: Jakub Rusinowski · 最后更新:

显存档位80 GB例如 A100 80GB (PCIe), H100 80GB (PCIe), H100 80GB (SXM)
放得下的模型158完全载入显存
综合最佳98Qwen 2.5 72B Instruct
能放下的最大模型73.7 GBQwen 3.5 122B-A10B

80 GB 下各任务的最佳模型

评分为 0–100 的任务质量分;速度按 A100 80GB (PCIe) 估算。

放得下的最强模型

按逻辑与编程排名的前 15 个

模型显存在 A100 80GB (PCIe) 上的速度(估算)评分
Qwen 2.5 72B Instruct
Qwen 2.5 Family · Q4_K_M
43.5 GB~25 tok/s98
Qwen 2.5 Coder 32B
Qwen 2.5 Family · Q4_K_M
19.3 GB~52 tok/s97
Llama 3.3 70B Instruct
Llama 3.3 · Q2_K_XS (Tight)
20.2 GB~50 tok/s97
Qwen 3 32B
Qwen 3 · Q4_K_M
19.8 GB~51 tok/s97
DeepSeek R1 Distill Qwen 32B
DeepSeek R1 · Q4_K_M
19.3 GB~52 tok/s96
Qwen 2.5 14B Instruct
Qwen 2.5 Family · Q4_K_M
8.5 GB~101 tok/s95
Nemotron 70B Instruct
Nemotron 70B · Q4_K_M
42.6 GB~26 tok/s94
Qwen 3 14B
Qwen 3 · Q4_K_M
8.9 GB~98 tok/s94
Qwen 3.5 122B-A10B
Qwen 3.5 · Q4_K_M
73.7 GB~118 tok/s93
Codestral 22B
Codestral · Q4_K_M
13.4 GB~71 tok/s93
Qwen 3.6 35B-A3B
Qwen 3.6 · Q4_K_M
21.1 GB~258 tok/s93
DeepSeek R1 Distill Qwen 14B
DeepSeek R1 · Q4_K_M
8.5 GB~102 tok/s92
Phi-4 (14B)
Phi-4 Family · Q4_K_M
8.5 GB~100 tok/s92
Gemma 4 31B
Gemma 4 · Q4_K_M
18.7 GB~52 tok/s92
Qwen 2.5 VL 72B Instruct
Qwen 2.5 VL · Q4_K_M
44.3 GB~25 tok/s92

FAQ

What LLMs run well with 80 GB VRAM?

Qwen 2.5 Family, Qwen 2.5 Family, Llama 3.3, Qwen 3, DeepSeek R1 all fit in 80 GB VRAM.

Which GPUs have 80 GB VRAM?

NVIDIA A100 80GB (PCIe), NVIDIA H100 80GB (PCIe), NVIDIA H100 80GB (SXM), NVIDIA RTX PRO 6000 Blackwell.

各档位一览

显存可放下综合最佳
4 GB35Shieldstral 1.0 3B
6 GB59Granite 3.0 8B Instruct
8 GB75Granite 3.0 8B Instruct
10 GB87Qwen 2.5 14B Instruct
12 GB89Qwen 2.5 14B Instruct
16 GB99Qwen 2.5 14B Instruct
20 GB116Qwen 2.5 14B Instruct
24 GB136Qwen 2.5 Coder 32B
32 GB137Qwen 2.5 Coder 32B
48 GB143Qwen 2.5 72B Instruct
64 GB148Qwen 2.5 72B Instruct
80 GB158Qwen 2.5 72B Instruct