Поиск
MLOps

Retraining

Переобучение моделей

актуальноТекущий рабочий стандарт

Регулярное обновление модели на свежих данных по расписанию или по триггеру.

Ключевые тезисы

  • Новая модель выкатывается только после сравнения со старой на общем тесте.
  • Автоматизация должна включать валидационные гейты.
  • Обратная связь пользователей — источник данных и одновременно источник смещения.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

Когда и как переобучать

По расписанию, по триггеру или по метрике.

  • По расписанию — просто и предсказуемо; частоту выбирают по скорости устаревания данных.
  • По триггеру дрейфа — экономнее, но требует надёжного детектора.
  • По падению метрики — идеально, но применимо только при быстрой обратной связи.

Автоматическое переобучение обязано включать гейты: новая модель выкатывается только если она не хуже текущей на общем тесте и проходит проверки на данных. Иначе одна испорченная выгрузка отравит прод.

2

Валидационные гейты

Что должно проверяться автоматически перед выкатом.

  • Метрика новой модели не ниже текущей на общем фиксированном тесте (с учётом доверительного интервала).
  • Нет деградации ни на одном из ключевых сегментов.
  • Распределение предсказаний не сдвинулось аномально.
  • Контракт входа-выхода не изменился, все тесты сервиса зелёные.
На практике

Если хоть один гейт не пройден — модель не выкатывается автоматически, а уходит на разбор человеку. Это единственный способ доверять автоматическому переобучению.

Связанные темы

Продакшен и эксплуатация

Model Deployment80%

Деплой моделей · MLOps

Доставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.

Monitoring80%

Мониторинг · MLOps

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.

Drift Detection80%

Детекция дрейфа · MLOps

Обнаружение расхождения между данными обучения и данными прода.

Docker80%

Docker · MLOps

Контейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.

Kubernetes80%

Kubernetes · MLOps

Оркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.

ML Pipelines80%

ML-пайплайны · MLOps

Оформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.

Production ML80%

ML в продакшене · Практика ML

Модель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.

← Drift DetectionDocker →