🎯 Definicja
Top-K to metoda ograniczania losowości modelu AI. Zamiast pozwolić modelowi wybierać dowolne słowo ze słownika (nawet te bezsensowne), proces generowania ogranicza się tylko do K najbardziej prawdopodobnych słów (np. 50 najlepszych).
🔑 Kluczowe punkty
- K: Liczba słów branych pod uwagę.
- Top-K = 1: To samo co
Greedy Search. Zawsze wybiera najlepsze słowo. Robota. - Top-K = 50: Wybiera jedno z 50 najlepszych słów. Daje szansę na kreatywność, ale ucina kompletne bzdury.
📚 Szczegółowe wyjaśnienie
Model przewiduje słowa. Wyjście to lista 50,000 słów z procentami.
- “Kot” (40%)
- “Pies” (30%) …
- “Magnetofon” (0.0001%) Bez Top-K: Model może (rzadko) wylosować “Magnetofon”. Z Top-K=10: Model odcina listę po 10. pozycji. “Magnetofon” znika. Model losuje tyko z czołówki.
💡 Przykład zastosowania
Dla K=1 (Greedy):
Pytanie: “Jaki jest kolor nieba?”
Odp: “Niebieski”. (Zawsze).
Dla K=10:
Odp 1: “Niebieski”.
Odp 2: “Błękitny”.
Odp 3: “Szary” (jeśli model uzna, że jest burza).
Metoda eliminuje “Kanapka” (bo to słowo jest na 1000. miejscu w rankingu prawdopodobieństwa).
📌 Źródła
- Hugging Face Blog - How to Generate.
👽 Brudnopis
- Jest to starsza i prostsza metoda niż Top P (Nucleus Sampling), ale nadal bardzo skuteczna i często używana razem z nią.