Генерация через непрерывное вероятностное латентное пространство.
Ключевые тезисы
- Изображения размыты по сравнению с GAN и диффузией.
- Отличный компонент внутри других систем — например, в latent diffusion.
- Латентное пространство удобно для интерполяции и редактирования.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Роль VAE в современных системах
Редко как финальный генератор, часто как компонент.
Stable Diffusion работает не с пикселями, а с латентным представлением VAE 64×64 вместо 512×512. Это снижает вычислительную стоимость примерно в 64 раза — именно поэтому модель запускается на потребительских видеокартах.
- VQ-VAE использует дискретный словарь кодов — мост между непрерывными данными и авторегрессионными моделями.
- Латентное пространство удобно для редактирования: направления в нём соответствуют осмысленным изменениям объекта.
2VQ-VAE и дискретные коды
Мост между непрерывными данными и авторегрессией.
VQ-VAE заменяет непрерывный латент ближайшим вектором из обучаемого словаря. Изображение превращается в сетку дискретных кодов — и дальше её можно моделировать так же, как текст: авторегрессионным трансформером.
Именно этот приём лежит в основе многих мультимодальных генераторов: единый словарь токенов для текста и изображений позволяет обучать одну модель на обе модальности.
Связанные темы
Генеративные модели
VAE80%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
GAN80%
Генеративно-состязательные сети · Глубокое обучениеГенератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.
Diffusion Models80%
Диффузионные модели · Глубокое обучениеМодель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.
Generative Models80%
Генеративные модели · Генеративный ИИМодели, обучающие распределение данных и умеющие порождать новые объекты из него.
Autoregressive Models80%
Авторегрессионные модели · Генеративный ИИПорождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.
GAN80%
GAN · Генеративный ИИСостязательная пара сетей, дающая резкие и реалистичные изображения.
Diffusion80%
Диффузия · Генеративный ИИИтеративное расшумление — текущий стандарт генерации изображений, видео и аудио.
Density Estimation80%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.