Privacy and Security — Приватность и безопасность

Персональные данные, доступы и специфические для ML риски.

Ключевые тезисы

Минимизация данных: не логируйте персональные поля, если они не нужны для расследования.
Риски ML: извлечение обучающих данных из модели, membership inference, состязательные примеры.
Для LLM-сервисов отдельно: prompt injection, утечка системного промпта, доступ инструментов агента.

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Минимизация и разграничение доступа.

Не логируйте персональные поля, если они не нужны для расследования; используйте хеши и токены.
Разделяйте окружения: доступ к сырым данным — у пайплайна, не у сервиса инференса.
Псевдонимизация и агрегация признаков снижают риски без потери качества.
Срок хранения логов должен быть конечным и соответствовать регламенту.

Риски, которых нет у обычного сервиса.

Атака	Суть	Защита
Model extraction	воспроизведение модели по ответам API	лимиты, огрубление вероятностей
Membership inference	определение, был ли объект в обучении	регуляризация, дифференциальная приватность
Adversarial examples	малое возмущение меняет ответ	аугментация, детекторы, ансамбли
Prompt injection	инструкции внутри данных для LLM	разделение данных и команд, ограничение прав инструментов
Data poisoning	порча обучающих данных	валидация источников, контроль изменений

Безопасность и приватность ML

LLM, которая планирует, вызывает инструменты и итеративно движется к цели.

Управление поведением модели через формулировку запроса, без изменения весов.

Явная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.