Działa, ale wynik jest złyWindows Linux macOSOstatnia aktualizacja 6 listopada 2026

Którą kwantyzację GGUF pobrać? (Q4, Q5 czy Q8)

Dwadzieścia plików na stronie pobierania i nie wiem, który wybrać

Which GGUF quant should I download?

Który to przypadek?
Jeśli widzisz	Przyczyną jest	Przejdź do
Twój VRAM to co najmniej rozmiar pliku Q4_K_M plus 1–2 GB	Q4_K_M mieści się z miejscem na cache kontekstu	Rozwiązanie 1: zacznij od Q4_K_M i idź wyżej, jeśli zostaje miejsce
Na twoją kartę mieści się tylko plik Q3 albo Q2	Model jest za duży na tę kartę przy rozsądnej kwantyzacji	Rozwiązanie 1: rozważ mniejszy model w Q4
Wyniki są w porządku w czacie, ale niechlujne w kodzie albo JSON-ie	Zadanie jest wrażliwe na kwantyzację	Rozwiązanie 3: użyj Q5_K_M albo Q6_K, jeśli się mieści
Repozytorium ma pliki IQ i K o podobnym rozmiarze	Dwa schematy kwantyzacji przy tym samym budżecie bitów	Rozwiązanie 2: ściągawka

Kiedy się pojawia

Znalazłeś model na Hugging Face, a w repozytorium czeka kilkanaście plików .gguf: Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0 i jeszcze kilka. Rozmiary od malutkich po ogromne, a nazwy na razie nic ci nie mówią. Chcesz tylko wiedzieć, w który kliknąć.

Repozytorium na Hugging Face z tuzinem plików .gguf i bez rekomendacji w karcie modelu.
Strona modelu w bibliotece Ollamy, gdzie domyślny tag to zwykle Q4_K_M, a pozostałe tagi podają swoją kwantyzację wprost.
Model podzielony na kilka plików, gdzie potrzebujesz wszystkich części jednej kwantyzacji, a nie po jednej części każdej.
Wybór między większym modelem w niskiej kwantyzacji a mniejszym w wysokiej, o podobnym rozmiarze.

Co się właściwie dzieje

Kwantyzacja mówi, jak mocno skompresowano wagi modelu. Niższe liczby (Q2, Q3) dają pliki mniejsze i szybsze, ale mniej dokładne; wyższe (Q6, Q8) są bliższe oryginałowi, lecz większe i głodniejsze VRAM-u. Nie ma jednego „najlepszego” pliku — właściwa kwantyzacja to największa taka, która zmieści się na twoim sprzęcie z zapasem na kontekst. Pytanie „która kwantyzacja?” jest więc w istocie pytaniem „ile mam VRAM-u?”. Arytmetyka rozmiarów plików jest prosta: rozmiar to mniej więcej liczba parametrów × bity na wagę ÷ 8. Każdy kolejny szczebel — Q4_K_M, Q5_K_M, Q6_K, Q8_0 — przeznacza więcej bitów na każdą wagę: plik Q8_0 ma nieco ponad połowę rozmiaru nieskwantyzowanego F16, a plik Q4_K_M mniej niż jedną trzecią. Strona metodologii podaje dokładną liczbę bitów na wagę dla każdej z nich — te same wartości, z których liczy analizator. Przyrostki _M i _S oznaczają średnią i małą mieszankę w obrębie tego samego poziomu bitów, a pliki oznaczone IQ używają nowszego schematu, który przy bardzo niskiej liczbie bitów zachowuje więcej jakości, kosztem szybkości na części sprzętu.

Jak to naprawić

1
Wybierz największą kwantyzację, która mieści się w twoim VRAM-ieNajczęstsze rozwiązanie
Reguła jest prosta: bierz najwyższą kwantyzację, jaką karta pomieści, zostawiając trochę zapasu na kontekst. U większości osób wypada to na Q4_K_M — to społecznościowy złoty środek, dość mały, by zmieścić się na typowych kartach, i dość bliski pełnej precyzji, byś nie zauważył różnicy przy czacie, kodowaniu czy streszczaniu. Wyżej (Q5_K_M, Q6_K) idź tylko wtedy, gdy masz zapas VRAM-u; niżej (Q3, Q2) — tylko gdy Q4 się nie mieści. Najszybciej trafisz we właściwy plik, sprawdzając, która kwantyzacja twojego modelu pasuje do twojej konkretnej karty.
Czy zadziałało?Model ładuje się w całości na GPU przy długości kontekstu, której zamierzasz używać: ollama ps pokazuje 100% GPU albo log ładowania pokazuje wszystkie warstwy przeniesione.
Sprawdź, co pasuje do Twojego sprzętusprawdź dokładnie, która kwantyzacja GGUF twojego modelu zmieści się na twoim GPUOtwórz kalkulator VRAM →
2
Ściągawka po najczęstszych kwantyzacjach
Q8_0 — praktycznie bezstratna, duża, tylko przy sporym zapasie VRAM-u. Q6_K — znakomita jakość, sensowny krok w dół. Q5_K_M — wysoka jakość przy umiarkowanym rozmiarze. Q4_K_M — zalecany domyślny wybór; najlepszy balans dla większości zestawów. Q3_K_M — zauważalnie miększa, na ciasną pamięć. Q2_K — najmniejsza, z wyraźną stratą jakości; ostateczność. Warianty _K_M to nowoczesne k-kwanty i przy tym samym rozmiarze biją dawny styl Q4_0.
Czy zadziałało?Potrafisz wskazać potrzebny plik przed pobraniem, a jego rozmiar jest mniejszy niż twój VRAM, z miejscem na cache kontekstu.
3
Dopasuj kwantyzację do zastosowania, nie tylko do karty
Zwykły czat dobrze znosi niższe kwantyzacje. Kodowanie, ustrukturyzowane wyjście i zadania wymagające precyzji zyskują na Q5 albo Q6, jeśli tylko się zmieszczą. Gdy obie kwantyzacje wchodzą, przy wymagającej pracy bezpieczniej wybrać większą.
Czy zadziałało?Uruchom te same kilka promptów z prawdziwej pracy na obu kwantyzacjach. Jeśli nie odróżniasz odpowiedzi, zostań przy mniejszym pliku.

Jeśli nic z tego nie pomogło

Jeśli żadna kwantyzacja modelu nie mieści się z zapasem, odpowiedzią jest mniejszy model, a nie niższa kwantyzacja — analizator pokaże, które modele mieszczą się na twojej karcie. Jeśli kwantyzacja mieści się na papierze, a mimo to się nie ładuje, brakującym elementem rachunku jest zwykle długość kontekstu.

Dotyczy także: Linux · Apple

Powiązane

Najczęściej zadawane pytania

Która kwantyzacja GGUF jest najlepsza dla większości osób?

Q4_K_M. To społecznościowy domyślny wybór, bo godzi rozmiar, szybkość i jakość — mieści się na popularnych kartach i przy codziennym użyciu jest bardzo blisko pełnego modelu. Wyżej wchodź tylko wtedy, gdy masz zapas VRAM-u.

Czym różni się Q4_K_M od Q4_0?

Obie są mniej więcej czterobitowe, ale k-kwanty _K_M mądrzej rozkładają precyzję w całym modelu, dając lepszą jakość przy zbliżonym rozmiarze. Gdy masz wybór, bierz warianty _K_M.

Czy większy model w niskiej kwantyzacji jest lepszy od mniejszego w wysokiej?

Często tak — większy model w Q4 zwykle wygrywa ze znacznie mniejszym w Q8 o podobnym rozmiarze pliku. Ale oba muszą zmieścić się w twoim VRAM-ie z miejscem na kontekst, i to jest realne ograniczenie, które trzeba sprawdzić najpierw.

Skąd mam wiedzieć, która kwantyzacja zmieści się na moim GPU?

Porównaj rozmiar pliku i zapotrzebowanie modelu na pamięć ze swoim VRAM-em, zostawiając zapas na cache KV. Zamiast zgadywać po rozmiarach plików, zestaw swoją kartę z modelem i sprawdź, które kwantyzacje wchodzą.

Co oznacza K_M w Q4_K_M?

K oznacza schemat k-quant z llama.cpp, który kwantyzuje wagi blokami z własnymi skalami, a M — średnią mieszankę, w której część wrażliwych tensorów ma wyższą precyzję niż reszta. K_S to mała mieszanka i oszczędza trochę więcej miejsca. K_M to zwykły wybór na każdym poziomie bitów.

Czy kwantyzacje IQ są lepsze od K?

Przy bardzo niskiej liczbie bitów często tak. Formaty IQ, takie jak IQ3_M i IQ4_XS, zachowują więcej jakości na bit niż kwantyzacje K o tym samym rozmiarze, co liczy się głównie poniżej 4 bitów. Na części procesorów i starszych backendów działają wolniej, więc od Q4 w górę kwantyzacje K pozostają bezpiecznym wyborem.

Którą kwantyzację Ollama pobiera domyślnie?

Większość modeli w bibliotece Ollamy domyślnie używa kwantyzacji 4-bitowej, zwykle Q4_K_M, a strona tagów modelu podaje kwantyzację każdego tagu. Żeby dostać inną, pobierz konkretny tag, który ją nazywa, na przykład tag q8_0, jeśli biblioteka oferuje go dla tego modelu.

Czy niższa kwantyzacja przyspiesza model?

Zwykle tak, bo szybkość generowania ogranicza liczba bajtów czytanych na token: plik Q4 czyta się mniej więcej dwa razy szybciej niż plik Q8 tego samego modelu na tej samej karcie. Wyjątkiem jest sytuacja, gdy dekodowanie formatu kosztuje więcej, niż oszczędza pamięć — zdarza się to przy niektórych formatach IQ na CPU.