Multimodal Models — Мультимодальные модели

Единое пространство для изображений и текста — основа поиска по описанию и визуальных ассистентов.

Ключевые тезисы

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Контрастное обучение на парах «изображение — подпись».

L = - \frac{1}{2 N} i \sum [lo g \frac{e ^{⟨ v_{i}, t_{i} ⟩ / τ}}{\sum _{j} e ^{⟨ v_{i}, t_{j} ⟩ / τ}} + lo g \frac{e ^{⟨ v_{i}, t_{i} ⟩ / τ}}{\sum _{j} e ^{⟨ v_{j}, t_{i} ⟩ / τ}}]

Обозначения

Симметричная InfoNCE: правильная пара должна быть ближе всех остальных в батче

Zero-shot классификация: вместо обучения классификатора сравниваем эмбеддинг картинки с эмбеддингами фраз «фото кошки», «фото собаки».
Поиск по описанию работает из коробки: текст и изображение лежат в одном пространстве.
VLM (LLaVA, Qwen-VL) добавляют зрительный энкодер к языковой модели и позволяют вести диалог о картинке, документе или скриншоте.

Что уже сегодня работает в проде.

Поиск по описанию в каталоге товаров и медиатеке.
Модерация: zero-shot проверка на запрещённый контент по текстовым описаниям политик.
Документы: извлечение полей из счетов и договоров без обучения на каждый шаблон.
Автоописания и alt-тексты для доступности.

На практике

У VLM есть характерная слабость: точный подсчёт объектов и чтение мелкого текста. Для этих задач надёжнее специализированные детекторы и OCR.

Мультимодальность

Единая модель, принимающая и порождающая несколько модальностей: текст, изображения, звук.

Изображение режется на патчи, которые обрабатываются как последовательность токенов.

Извлечение текста из изображений и сканов: детекция областей текста и его распознавание.

Плотные векторные представления объектов, где геометрическая близость означает смысловое сходство.

Трансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.