Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.
- число способов получить k событий при средней интенсивности λ
- нормировка. Важное свойство: и среднее, и дисперсия равны λ
Ключевые тезисы
- Единственный параметр равен и среднему, и дисперсии.
- Если дисперсия заметно больше среднего — это сверхдисперсия, нужна отрицательно-биномиальная модель.
- Poisson-регрессия и Poisson loss — стандарт для счётных целевых переменных.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Когда модель применима
Три условия пуассоновского потока.
- События независимы.
- Интенсивность постоянна на рассматриваемом интервале.
- Два события не происходят одновременно.
Реальные потоки почти всегда нарушают второе условие: заказы днём и ночью идут с разной интенсивностью. Решение — неоднородный пуассоновский процесс с зависящей от времени λ.
2Сверхдисперсия
Главный диагностический признак.
- математическое ожидание — среднее по распределению
- дисперсия — мера разброса значений
- Причины: кластеризация событий, скрытая неоднородность объектов, зависимость.
- Решение — отрицательное биномиальное распределение (Пуассон со случайной λ).
- Для счётчиков с большим числом нулей используют zero-inflated модели.
Связанные темы
Прогноз спроса · Распределения и их хвосты
Hierarchical Forecasting85%
Иерархические прогнозы · Временные рядыПрогнозы по товару, категории и сети должны согласовываться: сумма частей обязана равняться целому.
Intermittent Demand85%
Прерывистый спрос · Временные рядыРяды, где большая часть значений — нули: запчасти, редкие товары, аварийные события. Обычные метрики и модели здесь не работают.
Feature-based forecasting85%
Прогноз через признаки · Временные рядыРяд превращается в табличную задачу: лаги, скользящие статистики, календарь — и дальше градиентный бустинг.
MAPE85%
Средняя абсолютная процентная ошибка · МетрикиОтносительная ошибка в процентах — удобна для сравнения рядов разного масштаба.
SMAPE85%
Симметричная MAPE · МетрикиВариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.
Normal Distribution80%
Нормальное распределение · Теория вероятностей и распределенияКолоколообразное распределение с двумя параметрами. Максимально энтропийное при заданных среднем и дисперсии — поэтому его берут «по умолчанию».
Log-normal Distribution80%
Логнормальное распределение · Теория вероятностей и распределенияВеличина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.
Power Law80%
Степенное распределение · Теория вероятностей и распределенияПлотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.
Exponential Distribution80%
Экспоненциальное распределение · Теория вероятностей и распределенияВремя между пуассоновскими событиями. Единственное непрерывное распределение без памяти.
Binomial & Bernoulli80%
Бернулли и биномиальное · Теория вероятностей и распределенияОдин успех или число успехов в серии независимых испытаний — базовая модель конверсии и кликов.
Beta Distribution80%
Бета-распределение · Теория вероятностей и распределенияРаспределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.
Heavy Tails80%
Тяжёлые хвосты · Теория вероятностей и распределенияРаспределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.
Probability Distribution80%
Распределение вероятностей · Математический справочникЗакон, задающий вероятности значений случайной величины.
Probability80%
Теория вероятностей · ОсновыЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.