Word2Vec

Обучает плотные векторы слов по контексту: близкие по смыслу слова оказываются рядом в пространстве.

Ключевые тезисы

Две схемы: CBOW предсказывает слово по контексту, Skip-gram — наоборот.
Negative sampling делает обучение вычислительно реальным.
Знаменитая арифметика векторов: король − мужчина + женщина ≈ королева.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Skip-gram и CBOW

Две задачи, из которых рождаются векторы слов.

Гипотеза дистрибутивной семантики: слова, встречающиеся в похожих контекстах, имеют похожий смысл. Skip-gram предсказывает контекст по слову, CBOW — слово по контексту.

max t \sum - c \leq j \leq c, j \neq = 0 \sum lo g p (w_{t + j} ∣ w_{t}), p (w_{o} ∣ w_{i}) = \frac{exp ( v _{w_{o}}^{⊤} v _{w_{i}} )}{\sum _{w} exp ( v _{w}^{⊤} v _{w_{i}} )}

Обозначения

$w$ веса модели — то, что подбирается при обучении
$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб
$exp$ экспонента

Знаменатель требует суммы по всему словарю — это неподъёмно. Negative sampling заменяет задачу: отличить настоящую пару «слово — контекст» от нескольких случайных.

Пример

Знаменитая векторная арифметика: $v (король) - v (мужчина) + v (женщина) \approx v (королева)$ . Направление в пространстве кодирует отношение.

Детали обучения

Negative sampling, subsampling и размер окна.

L = - lo g σ (⟨ v_{c}, v_{w} ⟩) - k = 1 \sum K E_{w_{k} \sim P_{n}} lo g σ (- ⟨ v_{w_{k}}, v_{w} ⟩)

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$σ (z)$ сигмоида: сжимает число в интервал от 0 до 1
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам

Вместо softmax по всему словарю — бинарная классификация против K случайных слов

$K = 5$ – $20$ отрицательных примеров для малых корпусов, 2–5 для больших.
Отрицательные слова берут из распределения $P (w) \propto f (w)^{3/4}$ — компромисс между частыми и редкими.
Subsampling выбрасывает сверхчастые слова с вероятностью, зависящей от частоты: это ускоряет обучение и улучшает векторы редких слов.
Маленькое окно (2–5) даёт синтаксическую близость, большое (10+) — тематическую.

Связанные темы

От слов к векторам

Ключевые тезисы

Подробный разбор

Skip-gram и CBOW

Детали обучения

Связанные темы

Tokenization75%

Bag of Words75%

TF-IDF75%

GloVe75%

FastText75%

Embeddings75%