Diffusion Models — Диффузионные модели

Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.

L = E ε - ε_{θ} (x_{t}, t)^{2}

Что означает каждый компонент

$ε$ шум, который мы сами добавили к чистому объекту — известный ответ
$ε_{θ} (x_{t}, t)$ предсказание сети: какой шум содержится в зашумлённом объекте на шаге t

Обучение диффузии — обычная регрессия: предсказать добавленный шум

Ключевые тезисы

Прямой процесс добавляет гауссов шум, обратный — предсказывает и убирает его.
Обучение устойчивее GAN и покрывает моды распределения лучше.
Latent diffusion работает в сжатом пространстве, что и сделало Stable Diffusion практичной.

Тема также относится к главам:Компьютерное зрениеГенерация изображений Генеративный ИИСемейства моделей

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Прямой и обратный процессы

Разрушаем изображение шумом, учимся обращать разрушение.

q (x_{t} ∣ x_{t - 1}) = N (x_{t}; 1 - β_{t} x_{t - 1}, β_{t} I)

Обозначения

$N (μ, σ^{2})$ нормальное распределение со средним μ и дисперсией σ²
$β$ коэффициент сглаживания (инерции)
$x$ объект: вектор признаков
$n$ число объектов в выборке
$q$ распределение, предсказанное моделью

x_{t} = α ˉ_{t} x_{0} + 1 - α ˉ_{t} ε, α ˉ_{t} = s \leq t \prod (1 - β_{s})

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$β$ коэффициент сглаживания (инерции)
$ε$ малая константа для численной устойчивости
$x$ объект: вектор признаков
$\prod$ произведение по всем элементам

Любой шаг зашумления получается за одну операцию — поэтому обучение так удобно

L = E_{x_{0}, ε, t} ε - ε_{θ} (x_{t}, t)^{2}

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$θ$ обучаемые параметры сети
$ε$ малая константа для численной устойчивости
$x$ объект: вектор признаков
$L$ функция потерь — то, что минимизируется при обучении
$∥ \cdot ∥$ норма — длина вектора

Сеть просто предсказывает добавленный шум — обычная регрессия

Управление генерацией

Как заставить модель следовать текстовому запросу.

ε^= ε_{θ} (x_{t}, \emptyset) + s (ε_{θ} (x_{t}, c) - ε_{θ} (x_{t}, \emptyset))

Обозначения

$θ$ обучаемые параметры сети
$ε$ малая константа для численной устойчивости
$x$ объект: вектор признаков

Classifier-free guidance:

s

управляет силой следования условию

Большое $s$ — точнее следование промпту, но меньше разнообразия и заметные артефакты.
Число шагов сэмплирования — компромисс качества и скорости; DDIM и другие солверы сокращают его с 1000 до 20–50.
Latent diffusion делает всё это в сжатом пространстве VAE, что и позволило запускать модели на обычных видеокартах.

Связанные темы

Генеративные модели

VAE80%

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

GAN80%

Генеративно-состязательные сети · Глубокое обучение

Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.

Generative Models80%

Генеративные модели · Генеративный ИИ

Модели, обучающие распределение данных и умеющие порождать новые объекты из него.

Autoregressive Models80%

Авторегрессионные модели · Генеративный ИИ

Порождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.

VAE80%

Вариационный автоэнкодер · Генеративный ИИ

Генерация через непрерывное вероятностное латентное пространство.

GAN80%

GAN · Генеративный ИИ

Состязательная пара сетей, дающая резкие и реалистичные изображения.

Diffusion80%

Диффузия · Генеративный ИИ

Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.

Density Estimation80%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.