Lokalny LLM powtarza się albo utknął w pętli — jak to naprawić

Powtarza to samo zdanie w kółko, dopóki go nie zatrzymam

Autor Jakub Rusinowski

Błąd

The same sentence again. The same sentence again. The same sentence again. The same sentence ag

1. 1

   Najpierw wyklucz przepełnienie kontekstu — cichą przyczynę w długich rozmowachNajczęstsze rozwiązanie

   Jeśli pętla zaczyna się dopiero po dłuższej rozmowie, najpewniej przepełniłeś okno kontekstu: najstarsze wiadomości zostają obcięte, a model — zgubiwszy wątek — wraca do powielania świeżych tokenów. Domyślny kontekst Ollamy zależy od wersji: starsze wydania używały 2048 albo 4096 tokenów, a obecne wybierają 4K, 32K albo 256K na podstawie twojego VRAM-u — więc na mniejszej karcie długa rozmowa wciąż przekracza go błyskawicznie. Podnieś tę wartość (kosztem VRAM-u), a objaw „model zgłupiał i zaczął się powtarzać po dwudziestu minutach” znika. Zanim ustawisz ją bardzo wysoko, sprawdź, na ile kontekstu naprawdę stać twój VRAM.

   bashKopiuj

   # Ollama: raise the context window for the session
   ollama run llama3.1
   >>> /set parameter num_ctx 8192
   
   # or permanently in a Modelfile
   PARAMETER num_ctx 8192

   Czy zadziałało?Kolumna CONTEXT w ollama ps pokazuje większą wartość, a rozmowa tej samej długości już się nie degraduje.

   Sprawdź, co pasuje do Twojego sprzętusprawdź, na ile kontekstu pozwala twój VRAM przy tym modeluOtwórz kalkulator VRAM →
2. 2

   Ustaw repeat_penalty na 1.1–1.2 (a repeat_last_n na 256)

   Kara za powtórzenia obniża prawdopodobieństwo tokenów, które już wystąpiły. Wartość 1.0 oznacza wyłączenie — jeśli twój zestaw startuje z 1.0 (tak bywa w części presetów LM Studio i w surowych domyślnych ustawieniach llama.cpp), zapętlą się nawet dobre modele. 1.1 to rozsądny domyślny wybór, 1.15–1.2 dla małych modeli skłonnych do pętli. Powyżej mniej więcej 1.3 dostajesz nową chorobę: model zaczyna omijać zwykłe słowa, których już użył, i pisze jak ze słownika synonimów. repeat_last_n decyduje, jak daleko wstecz sięga kara — 64 (częsta wartość domyślna) obejmuje jakieś 50 słów, a 256 wyłapuje cykle na poziomie akapitu.

   bashKopiuj

   # Ollama (REPL or Modelfile)
   >>> /set parameter repeat_penalty 1.15
   >>> /set parameter repeat_last_n 256
   
   # llama.cpp
   ./llama-cli -m model.gguf --repeat-penalty 1.15 --repeat-last-n 256

   Czy zadziałało?Wygeneruj ten sam prompt kilka razy: pętla na poziomie fraz nie powinna wrócić. Jeśli ustawiłeś wartości w Modelfile, ollama show <model> --parameters je wypisze.
3. 3

   Podnieś temperature i top_p ponad strefę determinizmu

   Temperatura bliska zeru w parze z ciasnym top_p sprawia, że model na każdym kroku wybiera jeden najbardziej prawdopodobny token — a „najbardziej prawdopodobnym kolejnym tokenem” po powtórzonej frazie jest dalszy ciąg tej samej frazy. Jeśli obniżyłeś temperaturę, żeby odpowiedzi były rzeczowe, przy swobodnej rozmowie nie schodź poniżej mniej więcej 0.5 — temperatura 0 nadaje się do jednorazowej ekstrakcji czy klasyfikacji, nie do konwersacji. Rozsądny punkt wyjścia dla czatu: temperature 0.7–0.8, top_p 0.9.

   bashKopiuj

   >>> /set parameter temperature 0.7
   >>> /set parameter top_p 0.9

   Czy zadziałało?Ponowne generowanie tego samego promptu daje teraz za każdym razem inne sformułowania, nie odbiegając od tematu.
4. 4

   Sprawdź tokeny zatrzymania, jeśli model gada dalej po skończonej odpowiedzi

   Model, który kończy odpowiedź i mimo to brnie dalej — dopisuje zmyślone tury użytkownika, odpowiada po raz drugi, osuwa się w pętle — nie tyle się powtarza, ile nie potrafi przestać. To znaczy, że środowisko uruchomieniowe nie wyłapuje tokenu końca tury: klasyka przy ręcznie pisanych plikach Modelfile, społecznościowych GGUF-ach z nietypowymi szablonami i przy fine-tunach. Upewnij się, że szablon i parametr stop pasują do rodziny modelu; przy fine-tunie, który sam konwertowałeś, zajrzyj do sekcji o pliku Modelfile w poradniku o konwersji do GGUF.

   bashKopiuj

   # See what a correctly configured model uses:
   ollama show llama3.1 --template
   ollama show llama3.1 --parameters
   
   # Modelfile for Llama-3-family models needs:
   PARAMETER stop <|eot_id|>

   Czy zadziałało?Odpowiedzi kończą się wraz z końcem tury asystenta, bez wymyślonych wiadomości użytkownika po nich.
5. 5

   Podejrzewaj sam plik: bardzo niskie kwantyzacje i wadliwe GGUF-y zapętlają się częściej

   Q2_K i nieoficjalne „frankenkwanty” małych modeli wpadają w pętle mierzalnie częściej — zdegradowane wagi spłaszczają rozkład, na którym pracuje sampler. Jeśli ten sam prompt zapętla się przy Q2 czy Q3, a przy Q4_K_M z oficjalnego źródła już nie, winna jest kwantyzacja. Pobierz plik ponownie z oficjalnej biblioteki Ollamy albo z porządnego repozytorium na Hugging Face, a kwantyzacje poniżej Q4 dla modeli mniejszych niż 7B traktuj jako eksperymentalne.