Quartz 4

Retrieval Augmented Generation (RAG)

3 min read

🎯 Definicja

Retrieval Augmented Generation (RAG) to architektura łącząca dużych modeli językowych (LLM) z mechanizmem wyszukiwania zewnętrznych informacji w celu generowania bardziej precyzyjnych, aktualnych i spójnych odpowiedzi. Zamiast polegać tylko na statycznej wiedzy zakodowanej w parametrach modelu, RAG dynamizuje generację poprzez pobranie kontekstu z zewnętrznego źródła wiedzy (np. wektorowej bazy danych, dokumentacji, encyklopedii, baz firmowych) i dołączenie go do promptu wejściowego.

🔑 Kluczowe punkty

  • RAG rozdziela wiedzę „statyczną” (w LLM) od wiedzy „zewnętrznej/dynamicznej” (z retrievera).
  • Pozwala aktualizować bazę wiedzy bez trenowania lub fine-tuningowania modelu.
  • Chroni przed halucynacjami poprzez podanie sprawdzalnych źródeł do podpisanego kontekstu.
  • Umożliwia zadawanie pytań na podstawie firmowych dokumentów, PDF-ów, baz danych lub intranetów.
  • Standardowy komponent nowoczesnych chatbotów domenowych (np. LangChain, LlamaIndex, RasaLLM).

📚 Szczegółowe wyjaśnienie

Architektura RAG – krok po kroku

  1. Wejście użytkownika: użytkownik zadaje pytanie (prompt).
  2. Extractor → Retriever: pytanie jest przekształcane (embedding) i używane do przeszukiwania bazy wektorowej lub innego retrievera (np. Elastic, BM25).
  3. Pobranie kontekstu: pobierane są najbardziej istotne fragmenty dokumentów (top-k), np. z PDF, bazy Notion, Confluence, SQL itp.
  4. Kontekst + Pytanie → LLM: zapytanie jest rozszerzane o dołączony kontekst, a następnie przekazywane do modelu LLM.
  5. LLM generuje odpowiedź z wykorzystaniem zewnętrznych danych bez konieczności trenowania na nowo.

Kluczowe komponenty architektury

KomponentOpis
LoaderZaładowanie danych (pliki, API, bazy) jako dokumenty (LlamaHub, LangChain loaders)
IndexingTworzenie osadzeń (embedding) i zapis do vector store (FAISS, Pinecone)
RetrieverWyszukiwanie podobnych dokumentów do zapytania (Search + Ranking)
Generator (LLM)Tworzenie końcowej odpowiedzi w oparciu o prompt + retrieved context
EvaluatorMierzenie jakości odpowiedzi – spójność, wiarygodność, cytowalność

Typowe narzędzia i biblioteki wspierające RAG

  • LangChain – framework Python do budowania agentów + RAG + retrieverów
  • LlamaIndex – strukturalna warstwa integrująca lokalne dokumenty z LLM
  • Haystack (deepset) – do budowania QA + semantic pipelines
  • Pinecone / Weaviate / Qdrant – wektorowe bazy do indeksowania kontekstu
  • OpenAI / Cohere / HuggingFace – modele embeddingów i generacji

Kiedy i dlaczego stosować RAG?

🔎 Potrzebujesz najnowszych danych — parametryczny LLM nie zna zmian po dacie trenowania.
📄 Pracujesz na dokumentach PDF, bazach firmowych itp.
📉 Model LLM halucynuje lub niepewnie odpowiada – RAG skraca ryzyko.
🔏 Chcesz cytowalną odpowiedź – RAG umożliwia wyświetlanie źródeł.

Typowe przypadki użycia

ObszarPrzykład
Wsparcie klientaChatbot z dostępem do dokumentacji, baz wiedzy, polityk firmy
Research platformOdpowiedzi RAG na zapytania naukowe z bazy publikacji (PubMed, ArXiv)
BI agentAgent pytany o dane finansowe z arkuszy i SQL
QA systemDodawanie kontekstu z własnych danych do ChatGPT lub Claude AI

💡 Przykład zastosowania

Firma wdraża chatbota do obsługi zapytań w wewnętrznym środowisku bankowym. Dokumentacja regulacyjna, zapytania SQL, raporty roczne i wiki produktowa są wczytywane i przekształcane w embeddingi z SentenceTransformers, zapisane w Pinecone (vector DB).
Zapytanie użytkownika „Jakie są limity AML dla rynku niemieckiego?” jest zamieniane na embedding i porównywane z dokumentami. Top 3 odpowiedzi z dokumentacji dostarczane są do prompta, LLM (OpenAI GPT-4 turbo) generuje odpowiedź z odniesieniem do źródła i daty dokumentu.

📌 Źródła

  1. Meta AI — Retrieval-Augmented Generation (RAG)
  2. LangChain docs – Vector DB QA
  3. LlamaIndex docs – RAG Concepts
  4. RAG paper (Lewis et al.) – arXiv

👽 Brudnopis

  • RAG = wyszukaj → dołącz kontekst → wygeneruj 📚📤🧠
  • Łatwa adaptacja do danych firmowych – zero retrain
  • RAG = dynamiczna warstwa wiedzy vs statyczny LLM
  • Pipeline: load > chunk > embed > store > retrieve > augment > generate
  • Eval: faithfulness, hallucination rate, rouge, citation recall
  • self-hosted (FAISS) vs managed (Pinecone) – zależnie od prywatności
  • przyszłość AI = RAG + memory + agents = cyfrowi asystenci systemowi

Graph View

Backlinks