Ансамбль из разнородных моделей, поверх которых обучается мета-модель. Стандартный приём соревнований и способ выжать последние проценты.
Ключевые тезисы
- Предсказания базовых моделей должны быть out-of-fold, иначе мета-модель обучится на утечке.
- Разнообразие важнее силы: слабые, но непохожие модели дают больший прирост.
- В проде стоимость эксплуатации ансамбля обычно перевешивает 0.5% метрики.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Как правильно собрать стекинг
Ключевое требование — out-of-fold предсказания.
- Разбить train на K фолдов.
- Для каждой базовой модели получить предсказания на фолде, обучившись на остальных.
- Собрать матрицу out-of-fold предсказаний — это признаки мета-модели.
- Обучить простую мета-модель (обычно логистическую или гребневую регрессию).
- Базовые модели переобучить на всём train для инференса.
Если подать мета-модели предсказания, полученные на тех же данных, на которых базовая модель обучалась, вы обучите её на утечке — и она развалится в проде.
2Стоит ли это в проде
Честный ответ обычно «нет».
Стекинг из семи моделей даёт 0.3–0.8% метрики и превращает сервис в конструкцию, которую невозможно ни отладить, ни быстро откатить. В соревнованиях это оправдано, в проде — почти никогда.
- Разумный компромисс: усреднение 2–3 моделей одного семейства с разными сидами.
- Если ансамбль всё же нужен, зафиксируйте версии всех базовых моделей как единый артефакт.
Связанные темы
Ансамблирование
Random Forest85%
Случайный лес · Классическое машинное обучениеБэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.
Gradient Boosting85%
Градиентный бустинг · Классическое машинное обучениеПоследовательное построение деревьев, каждое из которых исправляет ошибки предыдущего ансамбля.
Variance85%
Дисперсия · Математический справочникМера разброса значений вокруг среднего.
Cross-validation85%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.