Graph Embeddings — Графовые эмбеддинги

Векторные представления вершин, в которых близость отражает связанность в графе.

Ключевые тезисы

DeepWalk и node2vec запускают случайные блуждания и применяют к ним Word2Vec.
Параметры node2vec p и q задают баланс между «исследованием вширь» и «вглубь».
Полученные векторы подаются в обычные модели — это самый простой способ использовать граф в бустинге.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

node2vec и случайные блуждания

Word2Vec, применённый к графу.

Из каждой вершины запускаются случайные блуждания; полученные последовательности вершин трактуются как «предложения», и к ним применяется skip-gram. Вершины, часто встречающиеся вместе в блужданиях, получают близкие векторы.

Параметр $p$ управляет возвратом назад, $q$ — балансом между обходом вширь и вглубь.
Малое $q$ даёт «гомофилию» (близость по сообществу), большое — структурную роль вершины.
Результат — обычная матрица признаков, которую можно подать в бустинг.

Ограничения

Что важно учитывать при использовании.

Трансдуктивность: для новой вершины эмбеддинг нужно доучивать — в отличие от GraphSAGE.
Динамика: граф меняется, эмбеддинги устаревают; нужен регламент пересчёта.
Утечка: если рёбра, которые вы предсказываете, участвовали в обучении эмбеддингов, метрика будет завышена.

Связанные темы

Машинное обучение на графах

Graph Basics85%

Основы графов · Графы и сети

Вершины, рёбра, веса и направления. Матрица смежности и список рёбер — два способа хранить одно и то же.

Centrality85%

Центральности · Графы и сети

Меры важности вершины: по числу связей, по посредничеству, по близости и по влиянию соседей.

PageRank85%

PageRank · Графы и сети

Стационарное распределение случайного блуждания по графу с телепортацией. Классический алгоритм ранжирования, который до сих пор используется как признак.

Community Detection85%

Поиск сообществ · Графы и сети

Разбиение графа на плотно связанные группы: клиенты одного круга, связанные аккаунты, тематические кластеры документов.

Graph Neural Networks85%

Графовые нейросети · Графы и сети

Нейросети, работающие прямо на структуре графа: представление вершины обновляется по представлениям соседей.

Message Passing85%

Передача сообщений · Графы и сети

Единая схема, к которой сводятся почти все архитектуры GNN: собрать сообщения от соседей, агрегировать, обновить состояние.

Link Prediction85%

Предсказание связей · Графы и сети

Задача «появится ли ребро между вершинами»: рекомендации друзей и товаров, достройка графов знаний.

Knowledge Graphs85%

Графы знаний · Графы и сети

Факты в виде троек «субъект — предикат — объект». Структурированная память, которую всё чаще подключают к языковым моделям.

Network Motifs85%

Мотивы и триады · Графы и сети

Маленькие повторяющиеся подграфы, встречающиеся чаще, чем в случайной сети. Хорошие признаки для классификации вершин.

Clustering85%

Кластеризация · Обучение без учителя

Разбиение объектов на группы похожих без заранее известных меток.

Eigenvector85%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.