Топологический анализ данных

Mapper

Алгоритм Mapper

актуальноТекущий рабочий стандарт

Строит граф-скелет данных: проекция фильтрующей функцией, покрытие интервалами, локальная кластеризация и склейка.

Ключевые тезисы

  • Даёт наглядную карту структуры высокоразмерных данных.
  • Знаменит выделением подтипа рака груди по топологии экспрессии генов.
  • Результат чувствителен к выбору фильтра, покрытия и алгоритма кластеризации.
Тема также относится к главам:Обучение без учителяКластеризация

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

Алгоритм Mapper по шагам

Как получить граф-карту высокоразмерных данных.

  1. Выбрать фильтрующую функцию (плотность, первая компонента PCA, предсказание модели).
  2. Покрыть область значений перекрывающимися интервалами.
  3. В каждом прообразе интервала запустить кластеризацию.
  4. Каждый кластер — вершина графа; вершины соединяются, если кластеры пересекаются.

Результат — граф, сохраняющий структуру связности данных: ветвления, петли, «хвосты». В отличие от t-SNE, здесь видна не только близость, но и топология.

Классический результат

На данных экспрессии генов при раке молочной железы Mapper выделил «отросток» графа, соответствующий подгруппе пациентов с существенно лучшей выживаемостью. Обычная кластеризация эту подгруппу не выделяла.

На практике

Результат чувствителен к трём выборам: фильтр, число и перекрытие интервалов, алгоритм кластеризации. Обязательно проверяйте устойчивость картины к их изменению.

2

Настройка Mapper

Три ручки и их влияние на картину.

ПараметрМалоМного
Число интерваловгрубый граф, детали теряютсярассыпающийся граф из мелких вершин
Перекрытиеграф распадается на кускивсё сливается в один ком
Фильтропределяет, какую структуру вы увидите
  • Частые фильтры: плотность (эксцентриситет), первая компонента PCA, предсказание модели, время.
  • Проверяйте устойчивость: незначительное изменение параметров не должно менять качественную картину.

Связанные темы

Кластеризация и её оценка · Топология данных

Topology basics90%

Основы топологии · Топологический анализ данных

Топология изучает свойства, сохраняющиеся при непрерывных деформациях: связность, число дыр, компактность.

Simplicial complexes90%

Симплициальные комплексы · Топологический анализ данных

Дискретная аппроксимация формы облака точек: точки, рёбра, треугольники и их многомерные аналоги.

Homology90%

Гомологии · Топологический анализ данных

Алгебраический аппарат, который считает дыры разных размерностей в топологическом пространстве.

Persistent Homology90%

Персистентные гомологии · Топологический анализ данных

Центральный метод TDA: вместо одного порога ε рассматривается вся фильтрация, и отслеживается, когда топологические особенности рождаются и умирают.

Persistence Diagrams90%

Диаграммы персистентности · Топологический анализ данных

Каждая топологическая особенность — точка (рождение, смерть) на плоскости. Компактная сводка формы данных.

Persistence Landscapes90%

Ландшафты персистентности · Топологический анализ данных

Превращение диаграммы в набор кусочно-линейных функций — то есть в элемент гильбертова пространства.

Betti Numbers90%

Числа Бетти · Топологический анализ данных

Ранги групп гомологий: β₀ — число компонент, β₁ — число независимых циклов, β₂ — число полостей.

Topological features90%

Топологические признаки · Топологический анализ данных

Векторизация топологии: энтропия персистентности, суммарная длина жизни, числа Бетти, persistence images.

TDA + Machine Learning90%

TDA и машинное обучение · Топологический анализ данных

Топологические признаки подаются в бустинг или нейросеть, либо топология встраивается прямо в функцию потерь.

TDA + Time Series90%

TDA и временные ряды · Топологический анализ данных

Ряд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.

Metric spaces90%

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.

k-Means75%

k-средних · Классическое машинное обучение

Разбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.

DBSCAN75%

DBSCAN · Классическое машинное обучение

Плотностная кластеризация: кластеры — это связные области высокой плотности, остальное объявляется шумом.

GMM75%

Смесь гауссиан · Классическое машинное обучение

Вероятностная модель: данные порождаются смесью нормальных распределений, параметры оцениваются EM-алгоритмом.

Clustering75%

Кластеризация · Обучение без учителя

Разбиение объектов на группы похожих без заранее известных меток.

Density Estimation75%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.

Association Rules75%

Ассоциативные правила · Обучение без учителя

Поиск закономерностей вида «если A, то B» в транзакционных данных.

Silhouette Score75%

Силуэт · Метрики

Сравнивает среднее расстояние объекта до своего кластера и до ближайшего чужого.

Davies–Bouldin75%

Индекс Дэвиса — Болдина · Метрики

Отношение внутрикластерного разброса к расстоянию между кластерами; чем меньше, тем лучше.

Calinski–Harabasz75%

Индекс Калинского — Харабаша · Метрики

Отношение межкластерной дисперсии к внутрикластерной; чем больше, тем лучше разделение.