Graph Neural Networks — Графовые нейросети

Нейросети, работающие прямо на структуре графа: представление вершины обновляется по представлениям соседей.

Ключевые тезисы

GCN усредняет соседей, GraphSAGE сэмплирует их, GAT взвешивает вниманием.
Глубокие GNN страдают от «пересглаживания»: после нескольких слоёв все вершины становятся похожими.
Применения: антифрод, рекомендации, молекулярное моделирование, прогноз трафика.

Тема также относится к главам:Глубокое обучениеАрхитектуры

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Основные архитектуры

Три способа агрегировать соседей.

Модель	Агрегация	Особенность
GCN	нормированное среднее	простая, требует весь граф
GraphSAGE	среднее / max по сэмплу соседей	индуктивная, работает на новых вершинах
GAT	взвешивание вниманием	учит важность каждого соседа
GIN	сумма + MLP	максимальная выразительная сила

H^{(k + 1)} = σ (D ~^{- 1/2} A ~ D ~^{- 1/2} H^{(k)} W^{(k)})

Обозначения

$σ$ стандартное отклонение — разброс величины
$k$ степень вершины — число её связей
$A$ матрица смежности графа: есть ли ребро между вершинами

Слой GCN: нормированная матрица смежности с петлями

Практические проблемы

Почему GNN не всегда выигрывает.

Пересглаживание: после 3–4 слоёв представления вершин становятся почти одинаковыми.
Масштаб: полный граф не помещается в память — нужны сэмплирование соседей и кластерные батчи.
Гетерофилия: если соседи чаще разных классов, базовые GNN работают хуже простых моделей.
Бейзлайн: бустинг на графовых признаках часто не хуже и намного дешевле в эксплуатации.

На практике

Разумный порядок действий: сначала графовые признаки в бустинг, и только если этого не хватает — GNN с честным сравнением на том же разбиении.

Связанные темы

Машинное обучение на графах

Graph Basics85%

Основы графов · Графы и сети

Вершины, рёбра, веса и направления. Матрица смежности и список рёбер — два способа хранить одно и то же.

Centrality85%

Центральности · Графы и сети

Меры важности вершины: по числу связей, по посредничеству, по близости и по влиянию соседей.

PageRank85%

PageRank · Графы и сети

Стационарное распределение случайного блуждания по графу с телепортацией. Классический алгоритм ранжирования, который до сих пор используется как признак.

Community Detection85%

Поиск сообществ · Графы и сети

Разбиение графа на плотно связанные группы: клиенты одного круга, связанные аккаунты, тематические кластеры документов.

Graph Embeddings85%

Графовые эмбеддинги · Графы и сети

Векторные представления вершин, в которых близость отражает связанность в графе.

Message Passing85%

Передача сообщений · Графы и сети

Единая схема, к которой сводятся почти все архитектуры GNN: собрать сообщения от соседей, агрегировать, обновить состояние.

Link Prediction85%

Предсказание связей · Графы и сети

Задача «появится ли ребро между вершинами»: рекомендации друзей и товаров, достройка графов знаний.

Knowledge Graphs85%

Графы знаний · Графы и сети

Факты в виде троек «субъект — предикат — объект». Структурированная память, которую всё чаще подключают к языковым моделям.

Network Motifs85%

Мотивы и триады · Графы и сети

Маленькие повторяющиеся подграфы, встречающиеся чаще, чем в случайной сети. Хорошие признаки для классификации вершин.

Clustering85%

Кластеризация · Обучение без учителя

Разбиение объектов на группы похожих без заранее известных меток.

Eigenvector85%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.