Numerical Differentiation

Приближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.

Ключевые тезисы

• Центральная разность точнее односторонней: ошибка $O(h^2)$ против $O(h)$.
• Слишком малый шаг $h$ усиливает ошибку округления — есть оптимальный компромисс.
• Gradient checking — обязательная процедура при реализации слоя вручную.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

def grad_check(f, x, eps=1e-5):
    num = np.zeros_like(x)
    for i in range(x.size):
        p, m = x.copy(), x.copy()
        p.flat[i] += eps; m.flat[i] -= eps
        num.flat[i] = (f(p) - f(m)) / (2 * eps)
    ana = analytic_grad(x)
    rel = np.abs(num - ana) / (np.abs(num) + np.abs(ana) + 1e-12)
    assert rel.max() < 1e-6, rel.max()

Связанные темы

Аппарат анализа