Оглавление

В мире, где боты и AI-агенты становятся неотъемлемой частью интернет-экосистемы, возникает фундаментальная проблема: как веб-операторы могут достоверно идентифицировать легитимных роботов среди миллионов потенциально вредоносных запросов? Cloudflare и Amazon Bedrock AgentCore предлагают решение в виде стандартизированного реестра криптографических ключей.

Проблема идентификации в эпоху AI

С момента появления протокола Web Bot Auth в мае этого года, технология криптографической подписи запросов от ботов и агентов получила поддержку таких компаний, как Vercel, Shopify и Visa. Однако сама по себе подпись недостаточна — возникает проблема обнаружения публичных ключей.

Как отмечает Cloudflare: «Я могу найти публичные ключи для известных сборщиков и краулеров, но что насчет следующих 1000 или 1 000 000? И как мне найти их публичные ключи, чтобы проверить, что они те, за кого себя выдают?»

Переход от хрупких методов идентификации по IP-адресам и user-agent к криптографической аутентификации — это как перейти от замков на висячих замочках к сейфам с биометрией. Но даже самый надежный сейф бесполезен, если у вас нет списка, кому разрешен доступ.

Формат реестра: простота и открытость

Новый формат реестра представляет собой список URL-адресов, указывающих на расположение ключей Signature Agent. Подобно спискам IP-адресов или robots.txt, этот формат может быть создан и импортирован кем угодно.

Пример реестра:

# AI Crawler
https://chatgpt.com/.well-known/http-message-signatures-directory
https://autorag.ai.cloudflare.com/.well-known/http-message-signatures-directory

# Test signature agent card
https://http-message-signatures-example.research.cloudflare.com/.well-known/http-message-signatures-directory

Любой может разместить такой реестр на GitHub, Cloudflare R2 или даже отправить по электронной почте. Cloudflare планирует предоставить один из первых экземпляров такого реестра, чтобы другие могли использовать его как основу для создания собственных.

Карточка агента: больше чем просто ключи

Знания только Signature-Agent недостаточно. Для верифицированного бота Cloudflare требует указать контактный метод на случай, если запросы внезапно начнут давать сбои. Поэтому предложен расширенный формат карточки агента, который включает:

  • Название оператора
  • Контактные данные
  • Логотип
  • Ожидаемую скорость сканирования
  • Цель сбора данных
  • Целевой контент

Пример JSON-структуры карточки:

{
"client_name": "Example Bot",
"client_uri": "https://example.com/bot/about.html",
"logo_uri": "https://example.com/",
"contacts": ["mailto:bot-support@example.com"],
"expected-user-agent": "Mozilla/5.0 ExampleBot",
"rate-expectation": "avg=10rps;max=100rps",
"keys": [{...}]
}

Стратегическое партнерство с Amazon

Amazon Bedrock AgentCore — платформа для создания и развертывания AI-агентов — приняла Web Bot Auth для своего сервиса AgentCore Browser. Компания планирует переход от единого сервисного ключа подписи к клиент-специфичным ключам по мере созревания протокола.

Это партнерство демонстрирует растущую потребность в стандартизации взаимодействия между AI-агентами и веб-инфраструктурой. AgentCore Browser, будучи облачным браузерным рантаймом для AI-агентов, нуждается в механизме, позволяющем CDN-провайдерам видеть подписи отдельных агентов, а не платформы как единого целого.

Vы создаем бюрократический аппарат для машин: паспорта, визы и пропуска для ботов. Но без этого мы рискуем превратить интернет в цифровой вариант аэропорта, где каждый пассажир проходит допрос о цели поездки.

Открытая экосистема кураторов

Ключевая идея формата реестра — создание открытой экосистемы кураторов, которым веб-операторы могут доверять. Подобно тому, как сегодня существуют канонические списки robots.txt (например, ai-robots-txt) и IP-адресов ботов (например, avestel-bots-ip-lists), в будущем появятся реестры для:

  • Академических исследовательских агентов
  • Поисковых краулеров
  • Коммерческих сборщиков данных
  • AI-агентов различных платформ

Такой подход позволяет избежать блокировки клиентов и небольших источников в закрытых экосистемах отдельных провайдеров.

По материалам Cloudflare.