Оглавление

Создание безопасных AI-агентов требует не просто инструментов, а точного их применения в реальных рабочих процессах. Блог Salesforce пишет о ключевых принципах защиты автономных систем искусственного интеллекта.

Принцип нулевого доверия и минимальных привилегий

Agentforce, агентный уровень платформы Salesforce для развертывания автономных AI-агентов, построен в соответствии с принципами Zero Trust, которые предполагают отсутствие доверия по умолчанию к любым пользователям или системам. Каждый агент ассоциируется с «пользователем выполнения», чья идентичность определяет доступные действия и ресурсы.

  • Начинайте с профиля минимального доступа
  • Предоставляйте только необходимые разрешения для функций агента
  • Регулярно проверяйте иерархию ролей и настройки организации — они могут неожиданно расширить доступ

Контроль доступа

Сильные механизмы контроля доступа гарантируют, что только авторизованные пользователи могут инициировать чувствительные действия. Поскольку AI-агенты часто работают автономно, надежная проверка идентичности становится критически важной.

  • Требуйте аутентификации или проверки идентичности для всех взаимодействий
  • Внедряйте строгие механизмы аутентификации, такие как многофакторная аутентификация (MFA)
  • Используйте ступенчатую аутентификацию для критических задач

Проектирование безопасных действий

Действия определяют, что может делать AI-агент — получение данных, инициация workflows, обновление записей. Без четко определенных границ эти действия могут быть использованы для раскрытия данных или запуска несанкционированного поведения.

Ключевые аспекты проектирования включают:

  • Ограничение области действия: предотвращение чрезмерного доступа к данным
  • Валидация входных данных: очистка как прямых пользовательских вводов, так и ссылочных данных
  • Обработка ошибок: обеспечение защиты конфиденциальной информации при сбоях

Agentforce предоставляет расширенные функции доверия для точного контроля над выполнением задач:

  • Переменные агента: значения в рамках сессии для хранения проверенной информации
  • Привязки действий: безопасные соединения между действиями
  • Правила фильтрации: условная логика для отображения тем и действий

Мониторинг

Мониторинг обеспечивает безопасность Agentforce в режиме реального времени, предоставляя командам видимость поведения агентов, разрешений и взаимодействий с системой.

  • Регулярно проверяйте журналы аудита и доступа для обнаружения подозрительной активности
  • Проводите периодические обзоры разрешений агентов
  • Включайте «Обогащение журналов событий данными разговоров» в разработке для хранения полных транскриптов

Важно: Отключайте эту функцию в production для защиты чувствительных данных.

Защитные механизмы времени выполнения

Защитные механизмы времени выполнения отслеживают живые взаимодействия агентов на предмет нарушений политик, небезопасных выводов и непоследовательного поведения.

Agentforce оценивает сигналы времени выполнения:

  • Соблюдение инструкций
  • Обоснованность
  • Полнота
  • Согласованность

На основе этих проверок агент может:

  • Эскалировать подозрительные запросы
  • Регенерировать неполные ответы
  • Запрашивать уточнения у пользователей

Комплексное тестирование

Как и любой программный компонент, безопасные AI-агенты требуют тщательного тестирования перед развертыванием. Центр тестирования Agentforce предлагает low-code фреймворк для моделирования, оценки и улучшения поведения агентов.

Инструменты тестирования включают:

  • AI-генерируемые тестовые сценарии
  • Автоматическую оценку результатов
  • Workflows человеческого ревью и утверждения
Интерфейс центра тестирования Agentforce для проверки безопасности AI-агентов

Источник: www.salesforce.com

Интересно наблюдать, как традиционные принципы кибербезопасности находят новое применение в мире AI-агентов. Принцип нулевого доверия, казавшийся радикальным лет десять назад, теперь становится стандартом для автономных систем. Особенно впечатляет подход Salesforce с сессионными переменными и динамическими правилами фильтрации — это тот уровень детализации, который действительно отличает корпоративные решения от потребительских продуктов. Хотя стоит отметить, что вся эта сложность требует серьезной экспертизы от внедренцев.

Безопасность как общая ответственность

Безопасность агентного ИИ — это не единовременная настройка, а постоянное обязательство. Хотя Salesforce предоставляет инструменты и инфраструктуру, команды играют критическую роль в обеспечении безопасной реализации.

Эффективность безопасности Agentforce максимальна, когда команды активно применяют и развивают лучшие практики в области идентификации, разрешений, мониторинга и управления — не только во время настройки, но на протяжении всего жизненного цистратегии ИИ.