Обрабатывают последовательность шаг за шагом, перенося скрытое состояние между позициями.
Ключевые тезисы
- Веса общие для всех шагов, длина входа не фиксирована.
- Обучаются через развёртку по времени (BPTT).
- Затухание градиента ограничивает память несколькими десятками шагов.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Рекуррентность и скрытое состояние
Память сети — это один вектор, который переносится между шагами.
- истинное значение целевой переменной
- объект: вектор признаков
Веса общие для всех моментов времени, поэтому сеть работает с последовательностью любой длины. Обучение идёт «развёрткой по времени» (BPTT): сеть разворачивается в глубокую цепочку, и по ней запускается обычный backprop.
2Ограничения
Почему RNN уступили трансформерам.
- Нет параллелизма: шаг нельзя посчитать раньше шага .
- Короткая память: градиент затухает через десятки шагов.
- Узкое место: весь контекст сжимается в один вектор фиксированного размера.
Первые два пункта решались LSTM и GRU, третий — механизмом внимания. Когда внимание научились использовать без рекуррентности вовсе, появились трансформеры.
Связанные темы
Последовательные модели
LSTM80%
LSTM · Глубокое обучениеРекуррентная ячейка с состоянием и тремя вентилями, решающая проблему долгосрочной памяти.
GRU80%
GRU · Глубокое обучениеУпрощённая LSTM: два вентиля вместо трёх и отсутствие отдельного cell state.
RNN/LSTM for NLP80%
RNN/LSTM в NLP · Обработка естественного языкаПервое поколение нейросетевых моделей языка: последовательная обработка токенов со скрытым состоянием.
Sequence-to-Sequence80%
Seq2Seq · Обработка естественного языкаСхема «энкодер сжимает вход — декодер порождает выход» для перевода, суммаризации и диалога.
RNN/LSTM80%
RNN/LSTM для рядов · Временные рядыНейросети, обучаемые сразу на множестве связанных рядов, улавливают общие паттерны.
Backpropagation80%
Обратное распространение ошибки · Глубокое обучениеЭффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.