Actor-Critic — Актор-критик

Актор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.

Ключевые тезисы

Критик снижает дисперсию градиента политики.
A2C/A3C распараллеливают сбор опыта по множеству сред.
SAC и DDPG — популярные варианты для непрерывного управления.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Два компонента

Актор предлагает действия, критик их оценивает.

\nabla_{θ} J \approx E [\nabla_{θ} lo g π_{θ} (a ∣ s) A (s, a)], A (s, a) = r + γ V_{w} (s^{'}) - V_{w} (s)

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$θ$ параметры модели
$γ$ коэффициент дисконтирования: насколько важна отложенная награда
$(s, a)$ состояние среды и выбранное в нём действие
$r$ награда, полученная агентом на шаге
$w$ веса модели — то, что подбирается при обучении
$A$ матрица преобразования

A2C/A3C — параллельный сбор опыта многими воркерами.
DDPG/TD3 — детерминированная политика для непрерывного управления.
SAC — добавляет энтропийный бонус: агент вознаграждается за разнообразие действий, что улучшает исследование.

Soft Actor-Critic

Максимизируем награду и энтропию одновременно.

J (π) = t \sum E [r_{t} + α H (π (\cdot ∣ s_{t}))]

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$α$ скорость обучения: насколько сильно новое наблюдение меняет оценку
$r$ награда, полученная агентом на шаге
$\sum$ суммирование по всем перечисленным элементам
$π$ политика — правило выбора действия в состоянии

Энтропийный бонус вознаграждает разнообразие действий

Такой агент не схлопывается в одну стратегию раньше времени, лучше исследует и оказывается устойчивее к изменению среды. SAC — один из самых надёжных методов для непрерывного управления, в том числе в робототехнике.

Связанные темы

Основы обучения с подкреплением

MDP85%

Марковский процесс принятия решений · Обучение с подкреплением

Формальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.

States / Actions / Rewards85%

Состояния, действия, награды · Обучение с подкреплением

Три базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.

Value Functions85%

Функции ценности · Обучение с подкреплением

V(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.

Q-Learning85%

Q-обучение · Обучение с подкреплением

Off-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.

SARSA85%

SARSA · Обучение с подкреплением

On-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.

Policy Gradient85%

Градиент политики · Обучение с подкреплением

Прямая оптимизация параметров политики по градиенту ожидаемой награды.

DQN85%

Deep Q-Network · Обучение с подкреплением

Q-обучение с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.

PPO85%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.