🎯 Definicja
Active-Prompt to adaptacyjne podejście do tworzenia promptów dla dużych modeli językowych (LLM), w którym dobór przykładów CoT (chain-of-thought) jest aktywnie dostosowywany w oparciu o dynamiczną analizę niepewności. Kluczowy element tej techniki polega na wybieraniu przez model tych pytań, które sprawiają mu największą trudność, i wskazywaniu ich do adnotacji przez człowieka. Pozwala to poprawić skuteczność rozumowania modelu przy minimalnym nakładzie pracy ludzkiej.
🔑 Kluczowe punkty
- Eliminacja sztywnego zestawu przykładów – wybierane są najbardziej „niepewne” przypadki, które najlepiej ulepszają prompt.
- Automatyczna selekcja poprzez metrykę niepewności – model sam wskazuje pytania wymagające adnotacji ludzkiej, skracając czas szkolenia.
- Dynamiczne wzbogacanie promptów – nowo oznaczone przypadki są włączane do zestawu przykładowego, poprawiając skuteczność reasoning w LLM na niewidzianych zadaniach.
- Skuteczność potwierdzona badaniami – metoda pokazuje wyższą efektywność niż klasyczne chain-of-thought i inne inactive prompting approaches.
📚 Szczegółowe wyjaśnienie
Mechanizm działania Active-Prompt
-
Generowanie wielu odpowiedzi LLM
Model generuje k różnych odpowiedzi na każde z pytań treningowych, przy wykorzystaniu obecnego zestawu przykładów CoT (lub bez przykładów). -
Obliczanie metryki niepewności
Analizowana jest rozbieżność wśród uzyskanych odpowiedzi – różnice w logice, wynikach końcowych lub szczegółach wywodu. Najczęściej stosuje się prostą metrykę: liczbę unikalnych końcowych odpowiedzi wśród k generacji (im więcej wariantów, tym większa niepewność). -
Wybór pytań do adnotacji
Pytań o najwyższej niepewności są wskazywane do ręcznej adnotacji przez eksperta (adnotacja CoT dla danego zadania). -
Aktualizacja promptu i powtarzanie cyklu
Nowe przykłady są włączane do promptu, a proces powtarza się do uzyskania oczekiwanego poziomu skuteczności reasoning LLM lub wyczerpania budżetu adnotacji.
Zalety podejścia
- Oszczędność pracy adnotatorów: Annotuje się tylko kluczowe, „trudne” przypadki zwiększające efektywność promptu.
- Znacząca poprawa skuteczności dla nowych zadań: Prompt zostaje „dostosowany” do tego, co stanowi wyzwanie dla modelu w konkretnej domenie.
- Realizacja idei active learning: Dobór przypadków prowadzony jest „od dołu” przez model, nie przez projektanta promptów.
Miejsce w ekosystemie LLM i reasoning
Active-Prompt uzupełnia i rozszerza klasyczną metodę promptowania z CoT poprzez stworzenie zamkniętej pętli uczenia (feedback loop), w ramach której LLM samodzielnie wskazuje na obszary wymagające doprecyzowania lub wzbogacenia. Metoda ta wpisuje się w szerszy nurt prac nad samoewaluacją modeli generatywnych, metapromptingiem oraz active learning dla AI.
💡 Przykład zastosowania
Zespół ML chce dostosować LLM do rozwiązywania egzaminów matematycznych. Na początku model regresyjnie generuje odpowiedzi, ale jest niepewny co do wybranych typów zadań (duża rozbieżność końcowych wyników w k generacjach). Te przypadki zostają oznaczone przez eksperta (krok po kroku), nowy prompt jest budowany, a skuteczność reasoning modelu na nieznanych zadaniach matematycznych istotnie wzrasta przy niewielkim zwielokrotnieniu liczby przykładów.
📌 Źródła
- Diao et al., “Active-Prompt: Prompting Large Language Models to be More Accurate with Less Human Annotation”, arXiv:2302.12246
- BARD – The Next Generation of Prompt Engineering?
- Active-Prompt codebase – GitHub
👽 Brudnopis
- Active-Prompt = adaptacyjne chain-of-thought z aktywną selekcją przykładów
- Model generuje k odpowiedzi → ocena niepewności → pytania do adnotacji przez człowieka
- Tylko najtrudniejsze niepewne przypadki trafiają do puli CoT → szybki wzrost skuteczności reasoning
- Ideowy związek z active learning / data programming / prompt engineering
- Praktycznie: można szybciej i taniej dostroić LLM do zadania niż przez masową adnotację CoT
- Przykład: domena matematyczna, reasoning, prompt tuning na nowy typ zagadnienia