Оглавление

Amazon Web Services представила готовое решение для автоматизации развертывания инфраструктуры генеративного ИИ с использованием подхода Retrieval Augmented Generation (RAG). Новый Terraform-шаблон позволяет создавать и настраивать Amazon Bedrock Knowledge Bases для продакшен-среды, что значительно упрощает миграцию со стендов разработки.

Архитектура RAG-решения

Решение автоматизирует создание и конфигурацию ключевых компонентов AWS:

  • IAM-роли с политиками безопасности для доступа к сервисам
  • Amazon OpenSearch Serverless для управления и запросов к большим наборам данных
  • Amazon Bedrock Knowledge Bases для предоставления контекстной информации моделям
Диаграмма архитектуры базы знаний Amazon Bedrock с политиками IAM и интеграцией сервисов

Архитектура включает шесть критически важных политик доступа, которые управляют правами доступа для сервисов, участвующих в работе решения:

Политики Amazon Bedrock

  • Политика вызова Amazon Bedrock — авторизует систему для вызова сервисов работы с базами знаний
  • Политика доступа к Amazon S3 — предоставляет права чтения и записи для компонентов системы
  • Политика доступа к данным OpenSearch — определяет права доступа для взаимодействия с коллекциями OpenSearch

Политики OpenSearch

  • Политика доступа к коллекциям OpenSearch — определяет права доступа для запросов данных
  • Политика шифрования данных коллекций — обеспечивает безопасность хранимых данных
  • Сетевая политика коллекций OpenSearch — контролирует сетевой доступ к коллекциям

Инфраструктура как код для ML-проектов перестала быть опциональной роскошью — это необходимость для любого серьезного продакшена. AWS наконец-то догнала сообщество Terraform, предложив вменяемое решение вместо ручного кликания в консоли. Особенно радует проработка политик безопасности — обычно это самое больное место при миграции со стендов разработки.

Предварительные требования

Для успешного развертывания решения необходимо:

  • Активный AWS аккаунт
  • IAM-роль и пользователь с правами доступа для управления AWS ресурсами
  • Установленный Terraform на локальной машине
  • Настроенный AWS CLI с соответствующими учетными данными
  • Настроенное хранилище документов Amazon S3

Решение доступно в AWS Samples GitHub и представляет значительный интерес для команд, использующих Terraform в качестве основного инструмента управления инфраструктурой.

По материалам AWS Machine Learning Blog