Оглавление

Databricks объявила о переходе на модель ценообразования для оценки ИИ-агентов в MLflow с учетом токенов, что обещает сокращение затрат на тестирование до 95%. По сообщению Databricks, это изменение позволит компаниям масштабировать тестирование генеративных ИИ-приложений без бюджетных ограничений.

Новая модель ценообразования

Вместо фиксированной платы за каждый запрос к оценщику MLflow теперь использует покомпонентную оплату: $0,15 за миллион входных токенов и $0,60 за миллион выходных токенов. Это обеспечивает как резкое снижение стоимости, так и полную прозрачность расчетов.

Пример для 10 000 трасс:

  • До: 10 000 трасс × 5 судей = $875 в день
  • Теперь: 10 000 трасс × 5 судей = $45 в день
Автоматическая оценка трасс MLflow с помощью LLM-судей или аннотаторов
Источник: www.databricks.com

Открытые промпты для оценки

Компания также открыла исходный код промптов для оценки ИИ-агентов, которые прошли тестирование в реальных условиях. Эти промпты охватывают специализированные области:

  • Финансы и банковское дело
  • Здравоохранение и медицина
  • Техническая документация
  • Безопасность и соответствие

Промпты были проверены на таких бенчмарках как FinanceBench, HotPotQA, DocsQA, RAGTruth и HarmBench. Исходный код доступен в репозитории MLflow.

Гибкость выбора моделей

Платформа теперь поддерживает использование собственных моделей для оценки без дополнительной платы. Это позволяет:

  • Соответствовать требованиям комплаенса
  • Использовать существующие корпоративные соглашения с провайдерами LLM
  • Применять специализированные модели, обученные на собственных данных
  • Контролировать весь процесс оценки

Интеграция с экосистемой Databricks

Решение обеспечивает готовность к промышленной эксплуатации с первого дня:

  • Интеграция с Unity Catalog для управления безопасностью
  • Хранение данных в Delta Lake для создания пользовательских дашбордов
  • Полная интеграция с MLflow для просмотра результатов
  • Бессерверные вычисления без управления инфраструктурой

Снижение стоимости оценки на 95% — это не просто маркетинговая уловка, а реальное изменение парадигмы в разработке ИИ-агентов. До этого многие компании сталкивались с тем, что стоимость тестирования превышала стоимость разработки. Теперь можно будет проводить более частые и тщательные проверки качества, что критически важно для промышленного внедрения. Интересно, как конкуренты отреагируют на этот ход — вероятно, нам стоит ожидать аналогичных шагов от других платформ в ближайшие месяцы.

Начало работы

Новая модель ценообразования и открытые промпты уже доступны всем пользователям Databricks:

  1. Существующие пользователи автоматически перейдут на новую модель
  2. Новые пользователи могут начать с краткого руководства
  3. Пользователи MLflow с открытым исходным кодом могут обновиться до версии 3.4.0+

Это изменение делает непрерывную оценку качества ИИ-агентов доступной для компаний любого масштаба, особенно в таких требовательных отраслях как финансы, здравоохранение и техническая документация.