Limits and Continuity

Предел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.

x \to a lim f (x) = L

Обозначения

$x$ аргумент функции — точка, в которой её рассматривают
$L$ значение, к которому стремится выражение (предел)
$f (x)$ функция, о которой идёт речь
$lim$ предел: к чему стремится выражение
$\to$ сходимость: выражение слева стремится к тому, что справа

Ключевые тезисы

Функция непрерывна в точке, если предел равен значению функции: разрывов и «прыжков» нет.
Замечательные пределы дают асимптотику: $sin x / x \to 1$ , $(1 + 1/ n)^{n} \to e$ .
Сходимость итерационного метода — это существование предела последовательности приближений.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Определение и смысл

Что значит «стремится к».

\forall ε > 0 \exists δ > 0 : 0 < ∣ x - a ∣ < δ \Rightarrow ∣ f (x) - L ∣ < ε

Обозначения

$ε$ сколь угодно малая величина из определения предела
$Δ$ приращение аргумента
$x$ аргумент функции — точка, в которой её рассматривают
$L$ значение, к которому стремится выражение (предел)
$f (x)$ функция, о которой идёт речь

Формально предел — обещание: какую бы точность $ε$ вы ни потребовали, найдётся окрестность точки, где функция в неё укладывается. Ровно этот же язык используется для доказательства сходимости оптимизационных методов.

Односторонние пределы могут различаться — тогда предела нет (например, у $sign (x)$ в нуле).
Замечательные пределы: $lim_{x \to 0} \frac{s i n x}{x} = 1$ , $lim_{n \to \infty} (1 + \frac{1}{n})^{n} = e$ .
Правило Лопиталя раскрывает неопределённости $0/0$ и $\infty/\infty$ через производные.

Сходимость в машинном обучении

Где предел встречается на практике.

Сходимость градиентного спуска: последовательность $w^{(k)}$ имеет предел $w^{*}$ .
Сходимость по вероятности и по распределению — база закона больших чисел и ЦПТ.
Критерий остановки — это всегда приближение предела: «изменение метрики меньше $ε$ за N шагов».

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Наблюдаемая сходимость: значения x образуют последовательность, стремящуюся к минимуму

Связанные темы

Аппарат анализа · Предельные теоремы

Ключевые тезисы

Подробный разбор

Определение и смысл

Сходимость в машинном обучении

Связанные темы

Series and Convergence97%

Derivative85%

Differentiation Rules85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Integral85%

Differential Equations85%

Calculus85%

Gradient85%

Hessian85%

Backpropagation85%

Law of Large Numbers80%

Central Limit Theorem80%

Heavy Tails80%

Confidence intervals80%

Bootstrap80%

Statistics80%