Numerical Methods

Компьютер считает приближённо. Понимание точности float, устойчивости и обусловленности спасает от NaN и «необъяснимых» расхождений.

Ключевые тезисы

Логарифмические трюки (log-sum-exp) предотвращают переполнение при работе с вероятностями.
Плохо обусловленные матрицы делают решение системы неустойчивым к шуму данных.
Смешанная точность (fp16/bf16) ускоряет обучение, но требует масштабирования градиентов.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Числа с плавающей точкой и потеря точности

Откуда берутся NaN и почему `0.1 + 0.2 != 0.3`.

Компьютер хранит вещественные числа приближённо: float32 даёт около 7 значащих цифр, float16 — около 3. При вычитании близких чисел значащие цифры взаимно уничтожаются, и результат оказывается почти шумом.

# Наивный подсчёт дисперсии теряет точность
var = mean(x**2) - mean(x)**2      # катастрофическая потеря значимости
# Численно устойчивый вариант
var = mean((x - mean(x))**2)

Одна и та же формула математически, но разная численно

На практике

Обучение в смешанной точности (fp16/bf16) требует loss scaling: градиенты умножают на большой множитель, чтобы они не превратились в нули при округлении, а перед шагом оптимизатора делят обратно.

Трюк log-sum-exp и стабильный softmax

Как считать вероятности, не получая inf и nan.

Прямое вычисление $e^{z}$ при $z = 1000$ даёт переполнение. Спасает наблюдение: вычитание константы из всех логитов не меняет softmax.

softmax (z)_{i} = \frac{e ^{z_{i} - m}}{\sum _{j} e ^{z_{j} - m}}, m = j max z_{j}

Обозначения

$\sum$ суммирование по всем перечисленным элементам
$exp$ экспонента

После вычитания максимума все экспоненты лежат в

(0, 1]

По той же причине библиотеки предлагают функции вида log_softmax и BCEWithLogitsLoss: они принимают логиты, а не вероятности, и внутри делают устойчивое вычисление. Ручная связка sigmoid + log — типичный источник NaN в обучении.

Связанные темы

Стабильность обучения нейросетей · Градиенты и производные

Ключевые тезисы

Подробный разбор

Числа с плавающей точкой и потеря точности

Трюк log-sum-exp и стабильный softmax

Связанные темы

Backpropagation97%

Normalization Layers85%

Gradient Clipping85%

Mixed Precision85%

Learning Rate Scheduling85%

Calculus80%

Gradient80%

Hessian80%

Gradient Descent80%