Train учит, validation настраивает гиперпараметры, test даёт единственную честную оценку — и используется один раз.
Ключевые тезисы
- Стратификация сохраняет баланс классов в каждой части выборки.
- Группы (пользователи, пациенты, устройства) не должны пересекаться между частями.
- Для временных данных разбиение только хронологическое, без перемешивания.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Зачем три части, а не две
Валидация настраивает, тест измеряет — и смешивать их нельзя.
Если подбирать гиперпараметры по тесту, оценка перестаёт быть честной: вы подстроились под конкретную выборку. Валидация нужна как «расходный материал» для настройки, тест — как единственная финальная проверка, которую используют один раз.
| Часть | Доля (типично) | Для чего |
|---|---|---|
| Train | 60–80% | обучение параметров |
| Validation | 10–20% | гиперпараметры, ранняя остановка, отбор признаков |
| Test | 10–20% | финальная оценка, один раз |
2Стратификация, группы и время
Три случая, когда случайное разбиение неверно.
- Дисбаланс классов →
StratifiedKFold: доля редкого класса сохраняется в каждой части. - Связанные объекты →
GroupKFold: все записи одного пользователя, пациента или устройства идут в одну часть. - Временные данные → хронологическое разбиение: обучаемся на прошлом, проверяемся на будущем, без перемешивания.
Если объектов мало, вместо одной валидационной выборки лучше использовать кросс-валидацию: она даёт не только среднее качество, но и его разброс.
Связанные темы
Утечки и честная валидация
Data leakage85%
Утечка данных · ДанныеСитуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.
Data leakage85%
Утечка данных · Практика MLСамая дорогая ошибка в ML: модель отлично работает офлайн и разваливается в проде.
Cross-validation85%
Кросс-валидация · Оценка моделейМногократное разбиение выборки, дающее оценку качества вместе с её разбросом.
K-Fold85%
K-Fold · Оценка моделейДанные делятся на K частей; каждая по очереди становится валидационной.
Stratified K-Fold85%
Стратифицированный K-Fold · Оценка моделейK-Fold с сохранением пропорции классов в каждом фолде.
Leave-One-Out85%
Leave-One-Out · Оценка моделейПредельный случай: валидация состоит ровно из одного объекта, и так N раз.
Bootstrap85%
Бутстрэп · Оценка моделейМногократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.
Normalization & Standardization85%
Нормализация и стандартизация · ДанныеПриведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.