Activation functions — Функции активации

Нелинейности между слоями, без которых сеть не сложнее линейной модели.

Ключевые тезисы

ReLU — дефолт: дёшева и не насыщается, но может «умирать» на отрицательных входах.
GELU и SiLU — стандарт в трансформерах, дают более гладкий градиент.
Sigmoid и tanh оставляют для выходов и вентилей рекуррентных ячеек.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Практическое сравнение основных функций.

Функция	Формула	Плюсы	Минусы
ReLU	$max (0, x)$	быстрая, не насыщается справа	«мёртвые» нейроны
LeakyReLU	$max (α x, x)$	нет мёртвых нейронов	лишний гиперпараметр
GELU	$x Φ (x)$	гладкая, стандарт в трансформерах	дороже считать
Sigmoid	$1/ (1 + e^{- x})$	выход — вероятность	насыщение, градиент ≈ 0
tanh	$tanh x$	центрирована в нуле	насыщение

f(-2)0.000

f(2)2.000

f′(-4)0.0000

f′(4)1.0000

Функция активации

Посмотрите на производную у краёв: именно она определяет, дойдёт ли градиент до ранних слоёв

Здесь выбор диктуется задачей, а не модой.

softmax (z)_{i} = \frac{e ^{z_{i}}}{\sum _{j} e ^{z_{j}}}

Обозначения

Softmax превращает логиты в распределение: значения положительны и суммируются в единицу

Нейросеть по кирпичикам

Простейший нейрон: взвешенная сумма входов и пороговая функция. Исторический старт всей области.

Несколько полносвязных слоёв с нелинейностями — универсальный аппроксиматор функций.

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.

Правила обновления весов по градиенту: от чистого SGD до адаптивных методов.

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.