Synthetic Data — Синтетические данные

Генерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.

Ключевые тезисы

Работает лучше всего там, где процесс порождения известен: рендеринг, симуляция, шаблоны документов.
Разрыв домена (sim-to-real) — главная проблема: модель учится на артефактах генератора.
Синтетика от LLM полезна для холодного старта, но требует проверки на дубликаты и смещения.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

От простых аугментаций до генеративных моделей.

Метод	Где работает	Ограничение
Аугментации	изображения, аудио, текст	не создаёт новых сущностей
Симуляция / рендеринг	зрение, робототехника	разрыв домена sim-to-real
Шаблоны и правила	документы, логи, табличные данные	не покрывает редкие случаи
Генеративные модели	текст, изображения	наследует смещения и может дублировать обучающие данные

Как не обучить модель на артефактах генератора.

Тестовая выборка всегда только реальная — иначе оценка не значит ничего.
Проверяйте, отличает ли простой классификатор синтетику от реальных данных: если отличает легко, разрыв домена велик.
Следите за дубликатами: генератор склонен воспроизводить обучающие примеры почти дословно.
Доля синтетики в обучении — гиперпараметр; часто оптимум далеко не 100%.

Разметка и слабый надзор

Организация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.

Размечать в первую очередь те объекты, которые дадут наибольший прирост качества.

Программная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.

Согласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.