Idempotency & Exactly-once

Что происходит при повторной обработке события и как не задвоить данные.

Ключевые тезисы

At-least-once — стандартная гарантия брокеров: дубликаты будут, их нужно уметь схлопывать.
Идемпотентная запись по ключу (upsert) превращает at-least-once в фактический exactly-once.
Задвоенные события — частая причина «необъяснимого» роста признаков и утечек в обучении.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Гарантии доставки

Три уровня и что они значат на практике.

Гарантия	Что бывает	Цена
at-most-once	данные теряются	минимальная задержка
at-least-once	дубликаты	стандарт брокеров
exactly-once	ни потерь, ни дублей	дороже, часто «эффективно exactly-once»

На практике exactly-once достигается сочетанием at-least-once доставки и идемпотентной записи по ключу: повторное событие просто перезаписывает ту же строку.

Дедупликация

Как схлопывать повторы.

-- оставляем последнюю версию каждого события
SELECT * FROM (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY event_id ORDER BY ingested_at DESC) AS rn
  FROM raw_events
) WHERE rn = 1

На практике

Дубликаты особенно опасны для ML: они меняют веса объектов при обучении и могут попасть одновременно в train и test, создавая утечку.

Связанные темы

Надёжность данных

Ключевые тезисы

Подробный разбор

Гарантии доставки

Дедупликация

Связанные темы

Data Quality85%

Data Contracts85%

Change Data Capture85%

Feature Stores85%

Data leakage85%

Data leakage85%

Data preprocessing85%