Eigenvalue — Собственное значение

Коэффициент растяжения вдоль направления, которое преобразование не поворачивает.

A v = λ v

Что означает каждый компонент

$A$ преобразование пространства
$v$ собственный вектор: направление, которое преобразование не поворачивает
$λ$ собственное значение: во сколько раз растягивается это направление. В PCA — дисперсия вдоль компоненты

Ключевые тезисы

Сумма собственных значений равна следу матрицы.
В PCA они равны дисперсии вдоль главных компонент.
Знаки собственных значений гессиана определяют тип критической точки.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Смысл собственных значений

Коэффициенты растяжения вдоль устойчивых направлений.

A v = λ v, det (A - λ I) = 0

Обозначения

$λ$ сила регуляризации: штраф за сложность модели
$A$ матрица преобразования

Сумма собственных значений равна следу матрицы, произведение — определителю.
В PCA собственные значения ковариационной матрицы равны дисперсиям вдоль главных компонент.
Знаки собственных значений гессиана определяют тип критической точки: все положительные — минимум, разные знаки — седло.

λ₁0.711

λ₂0.041

объяснённая дисперсия PC194.5%

Корреляция признаков0.85Показать проекцию на PC1да

λ₁ и λ₂ на панели — это и есть собственные значения ковариационной матрицы облака

Спектр и устойчивость

Что говорят собственные значения о задаче.

Все $λ > 0$ у гессиана — локальный минимум; есть отрицательные — седло.
Большой разброс $λ$ — плохая обусловленность и медленная сходимость.
Малые $λ$ ковариационной матрицы — почти линейно зависимые признаки (мультиколлинеарность).

Связанные темы

Представления и снижение размерности · Линейная алгебра в ML

PCA91%

Метод главных компонент · Классическое машинное обучение

Ортогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.

Eigenvector91%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

Dimensionality reduction70%

Снижение размерности · Данные

Проекция данных в пространство меньшей размерности с сохранением структуры — против проклятия размерности.

Dimensionality Reduction70%

Снижение размерности · Обучение без учителя

Компактное представление данных, сохраняющее важную часть структуры.

Representation Learning70%

Обучение представлений · Обучение без учителя

Модель сама учится полезным признакам, чаще всего через self-supervised задачи.

Autoencoders70%

Автоэнкодеры · Глубокое обучение

Сеть учится восстанавливать вход через узкое место, получая сжатое представление.

Embeddings70%

Эмбеддинги · Обработка естественного языка

Плотные векторные представления объектов, где геометрическая близость означает смысловое сходство.

Linear Algebra70%

Линейная алгебра · Основы

Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.

Vector70%

Вектор · Математический справочник

Упорядоченный набор чисел; в ML — представление объекта в пространстве признаков.

Matrix70%

Матрица · Математический справочник

Прямоугольная таблица чисел, задающая линейное преобразование или набор объектов.

Norm70%

Норма · Математический справочник

Мера длины вектора; выбор нормы определяет геометрию задачи.

Distance70%

Расстояние · Математический справочник

Мера непохожести объектов — основа кластеризации, k-NN и поиска.

Metric spaces70%

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.