Оглавление

Как пишет блог Google Cloud, эра пассивного анализа данных завершается. Вместо построения предсказательных моделей о прошлом, современные специалисты по данным должны создавать интеллектуальные системы, способные самостоятельно действовать в реальном времени.

Единая среда для архитекторов агентов

Основная проблема продуктивности — постоянное переключение контекста между инструментами. Дата-сайентисты вынуждены работать с SQL в одном клиенте, экспортировать данные в Python-ноутбук, настраивать отдельный Spark-кластер для тяжелых вычислений и переключаться на BI-инструменты для визуализации.

Google анонсировал фундаментальные улучшения для Colab Enterprise в BigQuery и Vertex AI:

  • Нативные SQL-ячейки (превью) — возможность работать с SQL-запросами и Python-кодом в одном месте
  • Интерактивные визуализации (превью) — автоматическое создание редактируемых графиков из данных
  • Data Science Agent — интеллектуальный помощник с расширенными возможностями использования инструментов
Диаграмма событийно-ориентированной архитектуры для обработки данных в реальном времени
Источник: cloud.google.com

Система теперь поддерживает сложные инструменты, включая BigQuery ML для обучения и инференсинга, BigQuery DataFrames для анализа на Python и масштабируемые Spark-трансформации.

Ускорение вычислений и поддержка реального мира

Lightning Engine становится общедоступным, ускоряя Spark более чем в 4 раза по сравнению с открытой версией. Движок по умолчанию готов к ML и AI-задачам, интегрируясь с BigQuery Notebooks, Vertex AI и VS Code.

Для работы с реальными данными представлены две ключевые инновации:

  • Stateful processing для BigQuery continuous queries (превью) — SQL-запросы с «памятью» для анализа временных паттернов
  • Автономная генерация эмбеддингов в BigQuery (превью) — устранение необходимости отдельного пайплайна для векторных представлений

Новые возможности позволяют агентам обнаруживать сложные паттерны, например, внезапное увеличение средней стоимости транзакций на 300% за 5 минут, что критично для предотвращения мошенничества.

От прототипа к продакшену за минуты

Переход от ноутбука-прототипа к агентам-продуктам требует решения новых задач масштабирования и безопасности. Google представляет комплексный инструментарий «Build-Deploy-Connect» для архитекторов агентов.

Agent Development Kit (ADK) предоставляет фреймворк для сборки, тестирования и оркестрации логики в масштабируемые продакшен-агенты. Это позволяет перейти от однофайлового прототипа к надежной мультиагентной системе.

Трансформация дата-сайентиста в архитектора автономных систем — это не просто смена названия должности, а фундаментальное изменение парадигмы. Вместо анализа исторических данных специалисты теперь проектируют интеллектуальные системы, способные принимать решения в реальном времени. То есть, сами инструменты для создания AI-агентов становятся все более «агентивными» — получается какой-то рекурсивный AI-экосистема, где агенты создают агентов.

Пример успешного внедрения — система поиска товаров в магазинах Morrisons, обрабатывающая 50 000 запросов покупателей в день. Пользователи могут найти нужный товар по названию, а система семантического поиска точно определяет расположение на полках, используя актуальные данные о направлении магазина и каталоге продукции.