NVIDIA Tesla V100 32GB (PCIe) do lokalnych LLM
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Z 32 GB HBM2 przy 900 GB/s Tesla V100 32GB (PCIe) uruchamia 139 modeli z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to K2 Horizon MoVA 36B-A4B (~25 GB), a najlepszy wybór to K2 Horizon MoVA 36B-A4B.
32 GB HBM2 przy 900 GB/s i 250 W (PCIe). Chłodzona pasywnie, więc potrzebuje przepływu powietrza z serwera lub dodatkowego wentylatora. llama.cpp na niej działa; vLLM ma zastrzeżenia, a TensorRT-LLM i TGI porzuciły Voltę (sm_70). Ceny używanych egzemplarzy wahały się mocno (od około 650 do 1300 USD w latach 2025–26), więc ceny nie podajemy. Brak kalibracji szybkości dla Volty: tylko werdykty dopasowania.
Modele, które działają na Tesla V100 32GB (PCIe)
Q4_K_M, kontekst 8K, 32 GB do wykorzystania. Uszeregowane według jakości i szybkości.
| Model | Pamięć · znacznik = 32 GB | VRAM | Szybkość |
|---|---|---|---|
| K2 Horizon MoVA 36B-A4B K2 Horizon | 25 GB | — | |
| Qwen 3.6 35B-A3B Qwen 3.6 | 22.2 GB | — | |
| Nex-N2.5 mini Nex-N2.5 | 21.9 GB | — | |
| Nex-N2 mini Nex-N2 | 21.9 GB | — | |
| Qwen 3.5 35B-A3B Qwen 3.5 | 21.9 GB | — | |
| Jais 3 32B Jais 3 | 24 GB | — | |
| Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1 | 20.7 GB | — | |
| EXAONE 4.5 33B EXAONE 4 | 22.3 GB | — | |
| Qwen 3 32B Qwen 3 | 22.8 GB | — | |
| Aya Expanse 32B Aya Expanse | 21.6 GB | — | |
| Olmo 3.1 32B Instruct Olmo 3 | 21.7 GB | — | |
| Olmo 3.1 32B Think Olmo 3 | 21.7 GB | — |
Kup kartę lub wynajmij tyle samo pamięci
Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Szybkość na tle innych GPU
Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy
Specyfikacja
Specyfikację zaktualizowano 2026-11-11.
- Pamięć
- 32 GB HBM2
- Przepustowość pamięci
- 900 GB/s
- Szyna pamięci
- 4096-bit
- Architektura
- Volta GV100
- Seria
- Tesla
- Pobór mocy
- 250 W
- Rok premiery
- 2018
- Backendy obliczeniowe
- CUDA, VULKAN
- Dostępne dla modeli
- 32 GB
Podobne GPU
Najczęstsze pytania
Czy NVIDIA Tesla V100 32GB (PCIe) uruchomi lokalne LLM?
Tak. Z 32 GB (32 GB dostępne dla modelu) uruchamia 139 modeli z katalogu przy Q4_K_M i kontekście 8K; największy to K2 Horizon MoVA 36B-A4B, potrzebuje około 25 GB.
Jak szybki jest NVIDIA Tesla V100 32GB (PCIe) w inferencji AI?
Strona nie ma kalibracji szybkości dla architektury Volta GV100, więc publikuje dla tej karty werdykty dopasowania, ale nie szacunek tokenów na sekundę. Llama 3.3 70B się nie mieści: potrzebuje około 44 GB, a dostępne jest 32 GB.
Jakie LLM uruchomię na 32 GB?
Wśród najlepszych, które się mieszczą: K2 Horizon MoVA 36B-A4B, Qwen 3.6 35B-A3B, Nex-N2.5 mini, Nex-N2 mini, Qwen 3.5 35B-A3B.
Co dalej
Więcej o tej karcie
Narzędzia