Топологический анализ данных

Persistence Diagrams

Диаграммы персистентности

актуальноТекущий рабочий стандарт

Каждая топологическая особенность — точка (рождение, смерть) на плоскости. Компактная сводка формы данных.

Ключевые тезисы

  • Расстояние от точки до диагонали = устойчивость особенности.
  • Сравниваются метриками bottleneck и Wasserstein.
  • Диаграмма — мультимножество, поэтому напрямую в ML-модель не подаётся.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

Как читать диаграмму

Каждая точка — одна топологическая особенность.

По горизонтали откладывают момент рождения, по вертикали — смерти. Все точки лежат выше диагонали (умереть раньше, чем родиться, нельзя). Расстояние до диагонали = время жизни = устойчивость особенности.

  • Точки у диагонали — шум.
  • Одиночная точка высоко над диагональю — уверенный цикл в данных.
  • Несколько долгоживущих точек — данные распадаются на кластеры.
Обозначения
  • коэффициент, управляющий вкладом дальних членов
  • вероятность (или плотность распределения)
  • норма — длина вектора
Bottleneck-расстояние: оптимальное сопоставление точек двух диаграмм
На практике

Диаграмма — это мультимножество точек переменного размера. В таком виде её нельзя подать в бустинг: нужна векторизация — ландшафты, образы, энтропия.

2

Расстояния между диаграммами

Bottleneck и Wasserstein — и что выбрать.

Обозначения
  • коэффициент, управляющий вкладом дальних членов
  • объект: вектор признаков
  • вероятность (или плотность распределения)
  • суммирование по всем перечисленным элементам
  • норма — длина вектора
  • Bottleneck () смотрит только на худшее несовпадение — устойчив, но грубоват.
  • Wasserstein учитывает все точки: чувствительнее к общей структуре, чаще используется как признак.
  • Точки могут «сопоставляться с диагональю» — так формализуется рождение и исчезновение шумовых особенностей.

Связанные темы

Топология данных

Topology basics90%

Основы топологии · Топологический анализ данных

Топология изучает свойства, сохраняющиеся при непрерывных деформациях: связность, число дыр, компактность.

Simplicial complexes90%

Симплициальные комплексы · Топологический анализ данных

Дискретная аппроксимация формы облака точек: точки, рёбра, треугольники и их многомерные аналоги.

Homology90%

Гомологии · Топологический анализ данных

Алгебраический аппарат, который считает дыры разных размерностей в топологическом пространстве.

Persistent Homology90%

Персистентные гомологии · Топологический анализ данных

Центральный метод TDA: вместо одного порога ε рассматривается вся фильтрация, и отслеживается, когда топологические особенности рождаются и умирают.

Persistence Landscapes90%

Ландшафты персистентности · Топологический анализ данных

Превращение диаграммы в набор кусочно-линейных функций — то есть в элемент гильбертова пространства.

Betti Numbers90%

Числа Бетти · Топологический анализ данных

Ранги групп гомологий: β₀ — число компонент, β₁ — число независимых циклов, β₂ — число полостей.

Mapper90%

Алгоритм Mapper · Топологический анализ данных

Строит граф-скелет данных: проекция фильтрующей функцией, покрытие интервалами, локальная кластеризация и склейка.

Topological features90%

Топологические признаки · Топологический анализ данных

Векторизация топологии: энтропия персистентности, суммарная длина жизни, числа Бетти, persistence images.

TDA + Machine Learning90%

TDA и машинное обучение · Топологический анализ данных

Топологические признаки подаются в бустинг или нейросеть, либо топология встраивается прямо в функцию потерь.

TDA + Time Series90%

TDA и временные ряды · Топологический анализ данных

Ряд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.

Metric spaces90%

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.