Полный перебор всех комбинаций заданных значений гиперпараметров.
Ключевые тезисы
- Прост и воспроизводим, легко параллелится.
- Число комбинаций растёт экспоненциально с числом параметров.
- Тратит бюджет на заведомо неважные параметры.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Стоимость полного перебора
Комбинаторика растёт быстрее, чем кажется.
5 значений числа деревьев × 4 глубины × 3 learning rate × 3 subsample = 180 комбинаций. При 5-фолдовой кросс-валидации это 900 обучений. Если одно длится минуту — 15 часов.
- число объектов в выборке
- произведение по всем элементам
Grid search оправдан, когда параметров два-три и они дискретны. В остальных случаях он тратит бюджет на заведомо неважные измерения.
2Когда сетка уместна
Случаи, где полный перебор оправдан.
- Один-два дискретных параметра с небольшим числом значений.
- Финальная «дошлифовка» вокруг найденной случайным поиском точки.
- Требование воспроизводимости в регуляторной среде: сетка полностью детерминирована.
Связанные темы
Подбор гиперпараметров
Hyperparameter tuning80%
Настройка гиперпараметров · Практика MLПоиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.
Random Search80%
Случайный поиск · Практика MLСлучайная выборка конфигураций из заданных распределений.
Bayesian Optimization80%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Cross-validation80%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
Learning Rate Scheduling80%
Расписание скорости обучения · Оптимизация обученияИзменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.