🎯 Definicja
Generated Knowledge Prompting to technika, w której prosimy model LLM, aby najpierw wygenerował wiedzę na dany temat (stworzył mini-notatkę lub listę faktów), a dopiero potem odpowiedział na właściwe pytanie, korzystając z tej wygenerowanej wiedzy. To sposób na “przypomnienie” modelowi faktów przed rozwiązaniem zadania.
🔑 Kluczowe punkty
- Zasada: Najpierw pomyśl (wygeneruj fakty), potem odpowiedz.
- Cel: Zwiększenie trafności odpowiedzi w zadaniach wymagających wiedzy ogólnej (CommonsenseQA) i rozumowania.
- Różnica: W RAG wiedzę dostarczamy z zewnątrz. W GKP wiedzę generuje sam model (z własnych wag).
📚 Szczegółowe wyjaśnienie
Dlaczego to działa? Modele LLM mają ogromną wiedzę zaszytą w wagach, ale czasem nie potrafią jej “wydobyć” bezpośrednio w odpowiedzi na krótkie pytanie. Wymuszenie etapu generowania wiedzy działa jak “rozgrzewka” lub ustawienie odpowiedniego kontekstu (priming). Proces:
- Pytanie: “Czy golfista chce mieć dużo punktów?”
- Krok 1 (Generowanie wiedzy): “Wygeneruj fakty o zasadach golfa.” → Model pisze: “W golfie wygrywa osoba z najmniejszą liczbą uderzeń.”
- Krok 2 (Odpowiedź): “Korzystając z powyższej wiedzy, odpowiedz na pytnie.” → “Nie, golfista chce mało punktów.”
💡 Przykład zastosowania
Pytanie: “Jaki kolor ma uśmiech?” Bez GKP model może zgłupieć lub odpowiedzieć poetycko. Z GKP (Fakty o uśmiechu): “Uśmiech odsłania zęby. Zęby są zazwyczaj białe.” Odpowiedź: “Biały.”
📌 Źródła
- “Generated Knowledge Prompting for Commonsense Reasoning” (Liu et al., 2022).
👽 Brudnopis
- Technika ta jest prekursorem Chain-of-Thought Prompting.
- Przydatna, gdy nie mamy dostępu do zewnętrznej bazy wiedzy (RAG), a chcemy poprawić jakość wnioskowania.