LLM, которая планирует, вызывает инструменты и итеративно движется к цели.
Ключевые тезисы
- Цикл «мысль — действие — наблюдение» (ReAct) — базовый паттерн.
- Инструменты дают доступ к вычислениям, поиску и API.
- Главные риски: зацикливание, стоимость и отсутствие границ доступа.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Цикл агента
Мысль → действие → наблюдение, повторить.
- Модель получает задачу и описание доступных инструментов.
- Решает, какой инструмент вызвать и с какими аргументами.
- Система выполняет вызов и возвращает результат.
- Модель учитывает результат и решает: продолжать или ответить.
- Границы доступа: агент должен иметь минимально необходимые права; опасные действия — через подтверждение.
- Лимиты: ограничение числа шагов и бюджета спасает от зацикливания.
- Наблюдаемость: логируйте каждый вызов инструмента — без этого отладка невозможна.
- Проверка ввода: содержимое веб-страниц и документов может содержать инструкции — это данные, а не команды.
2Безопасность агентов
Что обязательно предусмотреть до запуска.
- Минимальные права: доступ только к тем инструментам и данным, которые нужны задаче.
- Подтверждение для необратимых действий: платежи, удаление, отправка писем.
- Prompt injection: содержимое веб-страниц и документов может содержать инструкции. Отделяйте данные от команд и не позволяйте данным расширять права.
- Бюджеты и таймауты на число шагов и стоимость.
- Аудит: полный лог вызовов инструментов с аргументами.
Связанные темы
Безопасность и приватность ML · Поиск, эмбеддинги и RAG
Embeddings80%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Semantic Search80%
Семантический поиск · Обработка естественного языкаПоиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.
RAG80%
Retrieval-Augmented Generation · Обработка естественного языкаЯзыковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.
TF-IDF80%
TF-IDF · Обработка естественного языкаВзвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.
RAG80%
RAG · Генеративный ИИПодмешивание найденных документов в контекст модели вместо хранения знаний в весах.
LLM80%
Большие языковые модели · Генеративный ИИТрансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.
NDCG80%
NDCG · МетрикиНормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.
MRR80%
Средний обратный ранг · МетрикиСреднее значение 1/rank первого релевантного результата.
MAP80%
Средняя усреднённая точность · МетрикиСреднее по запросам от average precision — учитывает и релевантность, и позиции.
Precision@K80%
Точность@K · МетрикиДоля релевантных объектов среди первых K позиций выдачи.
Recall@K80%
Полнота@K · МетрикиКакая доля всех релевантных объектов попала в топ-K.
Privacy and Security70%
Приватность и безопасность · Системный дизайн ML-сервисовПерсональные данные, доступы и специфические для ML риски.
Prompting70%
Промптинг · Генеративный ИИУправление поведением модели через формулировку запроса, без изменения весов.
Data Contracts70%
Контракты данных · Инженерия данныхЯвная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.
Monitoring70%
Мониторинг · MLOpsНаблюдение за инфраструктурой, данными и качеством предсказаний после релиза.