Linear Algebra

Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.

y = W x + b

Что означает каждый компонент

$y$ выход слоя — новый вектор признаков
$W$ матрица весов: поворачивает, растягивает и проецирует пространство
$x$ вход — объект в пространстве признаков
$b$ вектор сдвига: позволяет отображению не проходить через ноль

Полносвязный слой нейросети — ровно эта формула

Ключевые тезисы

Матрица — это линейное отображение: она поворачивает, растягивает и проецирует пространство признаков.
Разложения (SVD, собственные) объясняют, какие направления данных несут больше всего дисперсии.
Скалярное произведение задаёт меру похожести — от косинусной близости эмбеддингов до ядер SVM.

Тема также относится к главам:Математический справочникЛинейная алгебра

Подробный разбор

4 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Объект как вектор, выборка как матрица

Почему любая таблица данных — это матрица, а строка — точка в пространстве признаков.

Один объект описывается набором чисел: возраст, доход, количество покупок. Этот набор и есть вектор $x = (x_{1}, x_{2}, \dots, x_{d})$ , а $d$ — размерность пространства признаков. Вся выборка из $n$ объектов складывается в матрицу $X$ размера $n \times d$ : строки — объекты, столбцы — признаки.

X = x_{11} x_{21} ⋮ x_{n 1} x_{12} x_{22} ⋮ x_{n 2} \dots \dots ⋱ \dots x_{1 d} x_{2 d} ⋮ x_{n d}

Обозначения

$x$ объект или аргумент функции
$n$ число объектов в выборке

Матрица «объекты × признаки» — стандартная форма табличных данных

Пример

Клиент банка: возраст 35, доход 120 000, число продуктов 3 → вектор $x = (35, 120000, 3)$ . Тысяча клиентов — матрица $1000 \times 3$ . Заметьте, что координаты имеют разный масштаб: это и есть причина, по которой нужна нормализация.

Такое представление даёт неожиданно много: расстояние между строками становится мерой похожести клиентов, а обучение линейной модели — поиском одного вектора весов $w$ , который «читает» все строки одинаковым способом.

λ₁0.711

λ₂0.041

объяснённая дисперсия PC194.5%

Корреляция признаков0.85Показать проекцию на PC1да

Облако объектов в пространстве двух признаков: чем сильнее корреляция, тем ближе данные к одной прямой

Матрица как преобразование пространства

Умножение на матрицу поворачивает, растягивает и проецирует данные.

Умножение $y = A x$ — это не «перемножение чисел», а отображение: каждой точке $x$ сопоставляется новая точка $y$ . Матрица полностью задаётся тем, куда она переводит базисные векторы: первый столбец $A$ — образ вектора $(1, 0)$ , второй — образ $(0, 1)$ .

A = (20 0 0.5) ⟹ A (10) = (20), A (01) = (0 0.5)

Диагональная матрица растягивает первую ось вдвое и сжимает вторую вдвое

Композиция: $B A$ означает «сначала применить $A$ , потом $B$ ». Отсюда некоммутативность: $A B \neq = B A$ .
Ранг — размерность образа. Ранг меньше $d$ означает, что преобразование схлопывает пространство и информация теряется безвозвратно.
Определитель — во сколько раз меняется объём. Нулевой определитель ⇔ матрица вырождена ⇔ обратной не существует.

На практике

Полносвязный слой нейросети — это ровно $y = W x + b$ : матрица преобразует пространство, вектор сдвигает его. Вся «глубина» сети — это композиция таких преобразований, между которыми стоят нелинейности.

Скалярное произведение и мера похожести

Одна операция, из которой выросли косинусная близость, ядра SVM и внимание в трансформерах.

⟨ a, b ⟩ = i = 1 \sum d a_{i} b_{i} = ∥ a ∥ ∥ b ∥ cos θ

Обозначения

$θ$ параметры модели
$\sum$ суммирование по всем перечисленным элементам
$∥ \cdot ∥$ норма — длина вектора
$⟨ a, b ⟩$ скалярное произведение: мера согласованности векторов

Скалярное произведение связывает алгебру (сумма) и геометрию (угол)

Если векторы сонаправлены, произведение максимально; если перпендикулярны — равно нулю. Поэтому косинус угла $cos θ = \frac{⟨ a , b ⟩}{∥ a ∥∥ b ∥}$ используют как меру смысловой близости эмбеддингов: длина вектора там часто не важна, важно направление.

Пример: поиск похожих товаров

Товар описан вектором из 256 чисел. Чтобы найти похожие, считают скалярные произведения запроса со всеми товарами и берут топ-к. Для 1 млн товаров это одно умножение матрицы $1 \times 256$ на $256 \times 1 0^{6}$ — то, что видеокарта делает за миллисекунды.

В механизме внимания то же самое: $score_{ij} = ⟨ q_{i}, k_{j} ⟩ / d$ — насколько $i$ -й запрос «резонирует» с $j$ -м ключом. Деление на $d$ нужно, чтобы при большой размерности значения не улетали в область, где softmax насыщается.

Собственные векторы и SVD

Как найти направления, вдоль которых данные «живут» на самом деле.

Собственный вектор — направление, которое преобразование не поворачивает, а только масштабирует: $A v = λ v$ . Для ковариационной матрицы данных собственные векторы — это оси, вдоль которых разброс максимален, а собственные значения — величина этого разброса.

X = U Σ V^{⊤}, Σ = diag (σ_{1} \geq σ_{2} \geq \dots \geq σ_{r} > 0)

Обозначения

$σ$ стандартное отклонение — разброс величины
$r$ награда, полученная агентом на шаге
$x^{⊤}$ транспонирование: строка вместо столбца

Сингулярное разложение: любая матрица = поворот × растяжение × поворот

Первые $k$ компонент SVD дают наилучшее приближение матрицы рангом $k$ (теорема Эккарта — Янга) — это математическая основа PCA и сжатия эмбеддингов.
Отношение $σ_{1} / σ_{r}$ — число обусловленности: чем оно больше, тем сильнее шум в данных влияет на решение системы.
LoRA обучает низкоранговую поправку $Δ W = B A$ — ту же идею «мало компонент хватает» применяют к весам LLM.

λ₁0.711

λ₂0.041

объяснённая дисперсия PC194.5%

Корреляция признаков0.85Показать проекцию на PC1да

PC1 — направление максимальной дисперсии; крутите корреляцию и смотрите, как меняется доля объяснённой дисперсии

Связанные темы

Линейная алгебра в ML

Ключевые тезисы

Подробный разбор

Объект как вектор, выборка как матрица

Матрица как преобразование пространства

Скалярное произведение и мера похожести

Собственные векторы и SVD

Связанные темы

Vector70%

Matrix70%

Norm70%

Distance70%

Eigenvalue70%

Eigenvector70%

PCA70%

Metric spaces70%