MLP

Несколько полносвязных слоёв с нелинейностями — универсальный аппроксиматор функций.

Ключевые тезисы

Без нелинейной активации любая глубина сворачивается в одно линейное преобразование.
Глубина обычно эффективнее ширины при том же числе параметров.
Используется как «голова» поверх свёрточных и трансформерных признаков.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Архитектура и размерности

Как считать число параметров и не запутаться в матрицах.

h_{1} = ϕ (W_{1} x + b_{1}), h_{2} = ϕ (W_{2} h_{1} + b_{2}), y^= W_{3} h_{2} + b_{3}

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков

Пример

Вход 100 признаков, скрытые слои 64 и 32, выход 1. Параметров: $100 \cdot 64 + 64$ , затем $64 \cdot 32 + 32$ , затем $32 \cdot 1 + 1$ — итого 8 545.

Теорема об универсальной аппроксимации говорит, что достаточно широкой сети с одним скрытым слоем хватит для приближения любой непрерывной функции. Но «достаточно широкой» может означать экспоненциально много нейронов — на практике глубина эффективнее ширины.

Почему без активации всё разваливается

Композиция линейных слоёв — снова линейный слой.

W_{2} (W_{1} x + b_{1}) + b_{2} = (W_{2} W_{1}) x + (W_{2} b_{1} + b_{2}) = W^{'} x + b^{'}

Сколько бы слоёв вы ни поставили, без нелинейности между ними получится одна матрица. Именно активация делает глубину осмысленной.

f(-2)0.000

f(2)2.000

f′(-4)0.0000

f′(4)1.0000

Функция активации

Сравните функции активации и их производные: у сигмоиды градиент затухает на краях, у ReLU — нет

Связанные темы

Нейросеть по кирпичикам

Ключевые тезисы

Подробный разбор

Архитектура и размерности

Почему без активации всё разваливается

Связанные темы

Perceptron80%

Activation functions80%

Loss functions80%

Backpropagation80%

Optimizers80%

Logistic Regression80%