Централизованное хранилище признаков, единое для обучения и онлайн-инференса.
Ключевые тезисы
- Решает проблему training/serving skew.
- Офлайн-хранилище для обучения, онлайн — для низких задержек.
- Feast и Tecton — типовые реализации.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Training/serving skew
Главная проблема, ради которой существуют feature stores.
Признаки для обучения считает аналитик в SQL, а в проде их пересчитывает бэкенд на другом языке. Расхождение в одной формуле — и модель в проде получает не те данные, на которых училась.
- Офлайн-хранилище отдаёт исторические значения признаков «на момент времени» (point-in-time correctness).
- Онлайн-хранилище отдаёт актуальные значения за миллисекунды.
- Определение признака описывается один раз и используется обоими путями.
Feature store — тяжёлая инфраструктура. Для одной-двух моделей достаточно общей библиотеки расчёта признаков, вызываемой и в обучении, и в сервисе.
2Когда feature store действительно нужен
И когда достаточно общей библиотеки.
| Ситуация | Решение |
|---|---|
| 1–2 модели, одна команда | общий модуль расчёта признаков |
| много моделей, общие признаки | feature store |
| нужны онлайн-признаки с низкой задержкой | feature store с онлайн-хранилищем |
| только батч-скоринг | обычное хранилище и витрины |
Связанные темы
Надёжность данных · Признаки в реальном времени · Признаки: создание, отбор, важность
Change Data Capture98%
Захват изменений (CDC) · Инженерия данныхЧтение журнала изменений базы вместо периодических полных выгрузок.
Feature engineering96%
Конструирование признаков · ДанныеСоздание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
Feature engineering96%
Работа с признаками · Практика MLНа табличных данных грамотные признаки дают больший прирост, чем смена модели.
Data Quality85%
Качество данных · Инженерия данныхАвтоматические проверки, которые ловят поломку источника раньше, чем она попадёт в модель.
Data Contracts85%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Idempotency & Exactly-once85%
Идемпотентность и гарантии доставки · Инженерия данныхЧто происходит при повторной обработке события и как не задвоить данные.
Data leakage85%
Утечка данных · ДанныеСитуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Data leakage85%
Утечка данных · Практика MLСамая дорогая ошибка в ML: модель отлично работает офлайн и разваливается в проде.
Data preprocessing85%
Предобработка данных · ДанныеПриведение сырых данных к виду, пригодному для обучения: типы, форматы, дубликаты, согласованность единиц измерения.
Online and Offline Features85%
Онлайн- и офлайн-признаки · Системный дизайн ML-сервисовЧасть признаков считается заранее, часть — в момент запроса. Расхождение между ними — главный источник инцидентов.
Batch and Streaming85%
Батч и стриминг · Инженерия данныхОбработка по расписанию против непрерывной обработки событий. Разные задержки, разные гарантии, разная стоимость.
Encoding70%
Кодирование категорий · ДанныеПеревод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.
Feature selection70%
Отбор признаков · ДанныеУбираем шумные и избыточные признаки, чтобы снизить переобучение, ускорить инференс и упростить интерпретацию.
Feature importance70%
Важность признаков · Интерпретируемость моделейОценка вклада признаков в предсказания модели — первый шаг к пониманию её логики.
Permutation Importance70%
Перестановочная важность · Интерпретируемость моделейПризнак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.
Topological features70%
Топологические признаки · Топологический анализ данныхВекторизация топологии: энтропия персистентности, суммарная длина жизни, числа Бетти, persistence images.