Модели, обучающие распределение данных и умеющие порождать новые объекты из него.
Ключевые тезисы
- Дискриминативные модели учат P(y|x), генеративные — P(x) или P(x,y).
- Семейства: авторегрессионные, VAE, GAN, диффузионные, flows.
- Оценка качества генерации — отдельная сложная задача (FID, perplexity, человеческие оценки).
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Карта генеративных подходов
Пять семейств и их компромиссы.
| Семейство | Правдоподобие | Скорость генерации | Качество |
|---|---|---|---|
| Авторегрессионные | точное | медленно (по токену) | очень высокое |
| VAE | нижняя оценка | быстро | размыто |
| GAN | нет | очень быстро | резко, но нестабильно |
| Диффузия | оценка | медленно (много шагов) | высокое и разнообразное |
| Normalizing flows | точное | быстро | среднее |
Дискриминативная модель учит границу , генеративная — само распределение данных . Второе намного сложнее, но позволяет порождать новые объекты и оценивать, насколько объект типичен.
2Как оценивают генерацию
Метрики, которые хотя бы отчасти работают.
| Модальность | Метрики |
|---|---|
| Изображения | FID, KID, CLIPScore, человеческая оценка |
| Текст | перплексия, win-rate против эталона, LLM-as-judge |
| Аудио | FAD, MOS |
FID сравнивает статистики признаков реальных и сгенерированных изображений. Он чувствителен к размеру выборки и к используемой сети признаков — сравнивать значения между статьями почти всегда некорректно.
Связанные темы
Генеративные модели
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GAN80%
Генеративно-состязательные сети · Глубокое обучениеГенератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Diffusion Models80%
Диффузионные модели · Глубокое обучениеМодель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
VAE80%
Вариационный автоэнкодер · Генеративный ИИГенерация через непрерывное вероятностное латентное пространство.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.