Поиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.
Ключевые тезисы
- Обычно даёт единицы процентов там, где признаки дают десятки.
- Нужен отдельный тест: подбор по валидации к ней переобучается.
- Фиксируйте бюджет поиска заранее.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Что настраивать в первую очередь
Не все параметры одинаково полезны.
| Модель | Главные параметры |
|---|---|
| Бустинг | learning_rate, число деревьев, глубина / num_leaves, min_child_samples |
| Случайный лес | глубина, min_samples_leaf, max_features |
| Линейные | сила регуляризации C или α |
| Нейросети | learning rate, batch size, weight decay, расписание |
Прирост от подбора гиперпараметров обычно измеряется единицами процентов, тогда как хорошие признаки дают десятки. Настраивайте в конце, а не в начале.
2Планирование бюджета
Сколько запусков имеет смысл делать.
- 20–30 запусков случайного поиска обычно дают 80% возможного прироста.
- Дальше выгоднее переходить к байесовской оптимизации с pruning.
- Фиксируйте бюджет заранее — иначе тюнинг растянется на недели без заметного результата.
- Помните про переобучение под валидацию: после сотен запусков лучший результат частично случаен.
Связанные темы
Рабочий цикл ML-инженера · Подбор гиперпараметров
Grid Search80%
Поиск по сетке · Практика MLПолный перебор всех комбинаций заданных значений гиперпараметров.
Random Search80%
Случайный поиск · Практика MLСлучайная выборка конфигураций из заданных распределений.
Bayesian Optimization80%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Cross-validation80%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
Learning Rate Scheduling80%
Расписание скорости обучения · Оптимизация обученияИзменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.
Problem formulation70%
Постановка задачи · Практика MLПеревод бизнес-вопроса в ML-задачу с целевой переменной, метрикой и ограничениями.
Baselines70%
Бейзлайны · Практика MLПростейшее решение, с которым сравнивается всё остальное: константа, правило, логистическая регрессия.
Debugging models70%
Отладка моделей · Практика MLСистематический поиск причины, почему модель не учится или ведёт себя странно.
Overfitting70%
Переобучение · Практика MLМодель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.
Error analysis70%
Анализ ошибок · Оценка моделейРучной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.
Production ML70%
ML в продакшене · Практика MLМодель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.