NDCG

Нормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.

D C G @ K = i = 1 \sum K \frac{2 ^{r e l_{i}} - 1}{;;} \frac{;;}{lo g _{2} ( i + 1 )}

Что означает каждый компонент

$2^{r e l} - 1$ выигрыш от документа: растёт экспоненциально с его релевантностью
$lo g_{2} (i + 1)$ дисконт по позиции: чем ниже документ в выдаче, тем меньше его вклад

NDCG получается делением DCG на DCG идеального порядка

Ключевые тезисы

Позволяет работать с многоуровневой релевантностью, а не только с 0/1.
Нормируется на идеальное ранжирование, поэтому лежит в [0, 1].
Стандарт оценки поисковых и рекомендательных систем.

Тема также относится к главам:Обработка естественного языкаПоиск и RAG

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Дисконтирование по позиции

Единственная популярная метрика, работающая с градациями релевантности.

D C G @ K = i = 1 \sum K \frac{2 ^{r e l_{i}} - 1}{lo g _{2} ( i + 1 )}, N D C G @ K = \frac{D C G @ K}{I D C G @ K}

Обозначения

$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Числитель растёт экспоненциально с релевантностью (документ «идеально подходит» весит намного больше, чем «частично»), знаменатель гасит вклад далёких позиций. Нормировка на идеальное ранжирование приводит метрику к отрезку $[0, 1]$ .

Пример

Релевантности топ-3: $(3, 0, 2)$ . $D C G = \frac{7}{1} + \frac{0}{1.585} + \frac{3}{2} = 8.5$ . Идеальный порядок $(3, 2, 0)$ даёт $I D C G = 7 + 1.89 = 8.89$ , значит $N D C G \approx 0.956$ .

Практические тонкости

Что ломает NDCG в реальных системах.

Разные размеры выдачи: NDCG нормируется на идеал, поэтому сравним между запросами — в этом его преимущество.
Позиционное смещение: клики зависят не только от релевантности, но и от позиции; при обучении по кликам нужны поправки (IPS).
Градации релевантности нужно определить заранее: шкала 0–3 требует чёткой инструкции разметчикам.

Связанные темы

Поиск, эмбеддинги и RAG

Ключевые тезисы

Подробный разбор

Дисконтирование по позиции

Практические тонкости

Связанные темы

Embeddings80%

Semantic Search80%

RAG80%

TF-IDF80%

RAG80%

LLM80%

Agents80%

MRR80%

MAP80%

Precision@K80%

Recall@K80%