Linear Regression

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

y^= w_{0} + w_{1} x_{1} + \dots + w_{d} x_{d}

Что означает каждый компонент

$y^$ предсказание модели — то число, которое она выдаёт на выходе
$w_{0}$ свободный член: значение предсказания, когда все признаки равны нулю
$w_{j} x_{j}$ вклад j-го признака: вес умножается на значение признака и складывается с остальными

Предсказание — взвешенная сумма признаков плюс сдвиг

Ключевые тезисы

Обучается методом наименьших квадратов: аналитически или градиентным спуском.
Ridge (L2) и Lasso (L1) стабилизируют коэффициенты при мультиколлинеарности.
Коэффициент читается как «эффект признака при прочих равных».

Тема также относится к главам:Интерпретируемость моделейПрозрачные модели

Подробный разбор

4 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Модель и её геометрия

Предсказание как взвешенная сумма признаков.

y^= w_{0} + w_{1} x_{1} + \dots + w_{d} x_{d} = w^{⊤} x

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$x^{⊤}$ транспонирование: строка вместо столбца

Один вес на признак плюс свободный член

Для одного признака это прямая, для двух — плоскость, для $d$ признаков — гиперплоскость. Вес $w_{j}$ читается так: «при увеличении $x_{j}$ на единицу и неизменных остальных признаках предсказание меняется на $w_{j}$ ».

Зарплата по стажу

Модель $y^= 40000 + 8000 \cdot стаж + 300 \cdot часы$ . Каждый год стажа добавляет 8 000 при том же числе часов; каждый час — 300.

Обучение: аналитика против градиента

Два способа получить веса и когда какой применим.

L (w) = \frac{1}{n} i = 1 \sum n (y_{i} - w^{⊤} x_{i})^{2} ⟶ w min

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца

w^{*} = (X^{⊤} X)^{- 1} X^{⊤} y

Обозначения

$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$x^{⊤}$ транспонирование: строка вместо столбца

Нормальное уравнение: точное решение за один шаг

Аналитическое решение требует обращения матрицы $d \times d$ — это $O (d^{3})$ ; при $d$ в тысячи становится дорого, при вырожденной $X^{⊤} X$ — невозможно.
Градиентный спуск масштабируется на любые $n$ и $d$ и работает потоково, но требует настройки шага.
Ridge исправляет вырожденность: $w^{*} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ — матрица всегда обратима.

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Функция потерь MSE выпукла: спуск из любой точки приходит в один и тот же минимум — если шаг не слишком велик

Предпосылки и диагностика

Что должно быть верно, чтобы коэффициентам можно было верить.

Линейность связи: проверяется графиком остатков против предсказаний — там не должно быть структуры.
Гомоскедастичность: разброс остатков одинаков по всему диапазону; «воронка» означает, что нужно логарифмировать цель.
Отсутствие мультиколлинеарности: VIF > 10 говорит, что коэффициенты нестабильны и интерпретировать их нельзя.
Независимость наблюдений: для временных рядов почти всегда нарушена.

На практике

Даже при нарушенных предпосылках предсказания могут быть неплохими — страдает именно интерпретация коэффициентов и их доверительные интервалы.

Ridge, Lasso и ElasticNet

Три способа не дать коэффициентам разъехаться.

L_{ridge} = ∥ y - X w ∥^{2} + λ ∥ w ∥_{2}^{2}, L_{lasso} = ∥ y - X w ∥^{2} + λ ∥ w ∥_{1}

Обозначения

$λ$ сила регуляризации
$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь — то, что минимизируется при обучении
$∥ \cdot ∥$ норма — длина вектора

L2 сжимает все коэффициенты пропорционально и хорошо работает при коррелированных признаках. L1 благодаря «углам» своего шара обнуляет часть коэффициентов и тем самым отбирает признаки. ElasticNet комбинирует оба штрафа.

λ1.0e-4

‖w‖₂4.054

нулевых коэффициентов0 из 9

Сила регуляризации log₁₀λ-4.00

Тип

Переключите L1/L2 и увеличивайте λ: посмотрите, как у Lasso коэффициенты обнуляются, а у Ridge просто сжимаются

Связанные темы

Качество регрессии

Ключевые тезисы

Подробный разбор

Модель и её геометрия

Обучение: аналитика против градиента

Предпосылки и диагностика

Ridge, Lasso и ElasticNet

Связанные темы

MAE80%

MSE80%

RMSE80%

MAPE80%

SMAPE80%

R²80%

Adjusted R²80%

Loss functions80%