Оглавление

Cloudflare представляет масштабное обновление своего AI Gateway, превращая его в универсальный шлюз для работы с основными провайдерами искусственного интеллекта.

Решение позволяет разработчикам получить доступ к более чем 350 моделям через единую точку входа с консолидированным биллингом и централизованным управлением ключами.

Единый доступ ко всем провайдерам AI

Традиционная работа с AI-провайдерами требует отдельных учетных записей, API-ключей и управления лимитами для каждого сервиса. Cloudflare AI Gateway устраняет эту сложность, предоставляя доступ к моделям Anthropic, Google, Groq, OpenAI и xAI через единую платформу.

Ключевые преимущества обновления:

  • Единый биллинг для всех провайдеров через аккаунт Cloudflare
  • Централизованное управление API-ключами через Secrets Store
  • Динамическая маршрутизация между моделями
  • Унифицированный интерфейс запросов для разных провайдеров

Безопасное хранение ключей и управление доступом

Обновление интегрирует AI Gateway с Cloudflare Secrets Store, обеспечивая безопасное хранение ключей провайдеров с двухуровневым AES-шифрованием. Ключи больше не нужно передавать в открытом виде — вместо этого используются ссылки на секреты.

Пример использования с Secrets Store:

import Anthropic from '@anthropic-ai/sdk';

const anthropic = new Anthropic({
 apiKey: "CLOUDFLARE_AI_GATEWAY_TOKEN",
 baseURL: "https://gateway.ai.cloudflare.com/v1/<ACCOUNT_ID>/my-gateway/anthropic",
});

const message = await anthropic.messages.create({
 model: 'claude-3-opus-20240229',
 messages: [{role: "user", content: "What is Cloudflare?"}],
 max_tokens: 1024
});

Система обеспечивает ролевой доступ: администраторы управляют ключами, а разработчики только используют их ссылки, что минимизирует риски утечки.

Единая панель управления биллингом AI Gateway с графиками использования и управлением кредитами

Унифицированные запросы и динамическая маршрутизация

AI Gateway теперь автоматически транслирует запросы между разными провайдерами, устраняя необходимость адаптировать код под специфические API каждого вендора.

Пример работы с Google Gemini через OpenAI-совместимый интерфейс:

import OpenAI from "openai";
const client = new OpenAI({
 apiKey: "YOUR_PROVIDER_API_KEY",
 baseURL: "https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/compat",
});

const response = await client.chat.completions.create({
 model: "google-ai-studio/gemini-2.0-flash",
 messages: [{ role: "user", content: "What is Cloudflare?" }],
});

Это именно тот тип инфраструктурных улучшений, который действительно упрощает жизнь разработчикам. Вместо того чтобы бороться с разнородными API шести разных провайдеров, можно сосредоточиться на создании продукта. Тем не менее, таких маркетплейсов нейронок уже довольно много, и нас явно скоро ждут звзедные войны между ними.

Экономические аспекты и доступность

Тарификация основана на текущих ценах провайдеров плюс транзакционный сбор Cloudflare за пополнение счета. Функция единого биллинга пока доступна в закрытой бете для пользователей платного пакета.

По сообщению Cloudflare, это один из первых случаев использования кредитной системы биллинга в их экосистеме, что указывает на стратегическую важность AI-направления для компании.