Оглавление

Как сообщает Hugging Face, некоммерческий проект Public AI официально присоединился к экосистеме провайдеров инференса на платформе. Это означает, что разработчики теперь могут использовать модели от государственных инициатив, таких как Swiss AI Initiative и AI Singapore, напрямую через Hugging Face Hub.

Что такое Public AI

Public AI Inference Utility — это некоммерческий opensource-проект, который поддерживает работу публичных AI-моделей. Инфраструктура построена на распределенной системе с vLLM-бэкендом и глобальным балансировщиком нагрузки, который маршрутизирует запросы между кластерами, предоставленными национальными и индустриальными партнерами.

Бесплатный доступ обеспечивается за счет донатов GPU-времени и рекламных субсидий, а долгосрочная стабильность планируется за счет государственных и институциональных взносов.

Как это работает

Пользователи могут работать с Public AI через веб-интерфейс или клиентские SDK. Доступно два режима:

  • С собственным API-клюем Public AI (биллинг идет напрямую у провайдера)
  • Через маршрутизацию Hugging Face (используется токен HF, списание идет с аккаунта HF)
Интерфейс пользовательских настроек для провайдеров инференса
Источник: huggingface.co
Виджет интерфейса провайдера инференса на странице модели
Источник: huggingface.co

Примеры кода

Для работы с Python требуется huggingface_hub >= 0.34.6:

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
 provider="publicai",
 api_key=os.environ["HF_TOKEN"],
)

messages = [
 {
 "role": "user",
 "content": "What is the capital of France?"
 }
]

completion = client.chat.completions.create(
 model="swiss-ai/Apertus-70B-Instruct-2509",
 messages=messages,
)

print(completion.choices[0].message)

JavaScript-версия через @huggingface/inference:

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
 model: "swiss-ai/Apertus-70B-Instruct-2509",
 messages: [
 {
 role: "user",
 content: "What is the capital of France?",
 },
 ],
 provider: "publicai",
});

console.log(chatCompletion.choices[0].message);

Биллинг и тарифы

На момент публикации использование Public AI через Hugging Face полностью бесплатно. Однако тарифы и доступность могут измениться.

Важно: PRO-пользователи получают ежемесячно $2 кредитов на инференс, которые можно использовать среди всех провайдеров.

Появление Public AI в экосистеме Hugging Face — интересный шаг к демократизации доступа к государственным AI-моделям. Однако долгосрочная устойчивость такой модели зависит от постоянного финансирования и донатов, что всегда вызывает вопросы о надежности бесплатных сервисов. Времена, когда GPU-время раздавали просто так, похоже, заканчиваются.

Полный список поддерживаемых моделей доступен по ссылке, а документация по использованию — на специальной странице.