🎯 Definicja
RNN to sieci neuronowe, które mają “pamięć”. Zostały stworzone do przetwarzania sekwencji (tekstu, dźwięku, cen giełdowych), gdzie kolejność ma znaczenie. W przeciwieństwie do zwykłych sieci, które przetwarzają każdy obrazek osobno, RNN przetwarza słowo “ma”, pamiętając, że wcześniej było słowo “Ala”.
🔑 Kluczowe punkty
- Pętla: Wyjście z poprzedniego kroku wraca jako wejście do następnego.
- Zastosowanie: Tłumaczenie tekstów, rozpoznawanie mowy, przewidywanie pogody.
- Problem: Krótka pamięć (Vanishing Gradient). RNN słabo radzi sobie z długimi tekstami. (Dlatego powstało LSTM).
📚 Szczegółowe wyjaśnienie
Wyobraź sobie czytanie książki. Rozumiesz zdanie na stronie 10, bo pamiętasz, co działo się na stronie 1. Tak działa RNN. Jednak w praktyce “czyste” RNN pamięta tylko kilka ostatnich słów. Przy długich zdaniach gubi kontekst. Dlatego w NLP zostały wyparte przez Transformery (które widzą całe zdanie naraz dzięki Attention).
💡 Przykład zastosowania
Autouzupełnianie w telefonie. Piszesz: “Idę do”. RNN analizuje sekwencję. Pamięta “Idę” i “do”. Przewiduje: “domu” (lub “sklepu”).
📌 Źródła
- “The Unreasonable Effectiveness of Recurrent Neural Networks” (Andrej Karpathy).
👽 Brudnopis
- Dziś RNN używa się rzadziej w NLP (wygrał LLM/Transformer), ale nadal są świetne w prostych szeregach czasowych (Time Series) i na małych urządzeniach (IoT), bo są lekkie.