Оглавление

По сообщению Google Cloud, платформа представила общедоступную версию Flex-start VMs — виртуальных машин с возможностью ожидания доступа к GPU в очереди до двух часов. Это решение адресовано проблеме дефицита вычислительных ресурсов для задач машинного обучения.

Новый подход к выделению ресурсов

Flex-start VMs, работающие на базе Dynamic Workload Scheduler, предлагают принципиально новую модель потребления среди крупных облачных провайдеров. Вместо мгновенного отказа при отсутствии ресурсов система позволяет запросам находиться в очереди до двух часов, значительно повышая вероятность получения доступа к GPU.

Ключевые преимущества

  • Улучшенная доступность ресурсов: автоматическая очередь вместо ручных повторных попыток
  • Снижение стоимости: значительные скидки по сравнению со стандартными тарифами по требованию
  • Гибкость управления: возможность остановки и возобновления работы с сохранением конфигурации

Технические особенности

Доступ через instances.insert API, gcloud CLI и Google Cloud console. Максимальное время непрерывной работы — 7 дней, использование квоты прерываемых экземпляров.

Диаграмма рабочего процесса запроса мощностей виртуальных машин Flex-start
Источник: cloud.google.com

Параметр request-valid-for-duration

Ключевое нововведение — параметр request-valid-for-duration, позволяющий указать время ожидания в очереди от 90 секунд до 2 часов. Это преобразует опыт от ручных повторных попыток к управляемой системе очередей.

Наконец-то облачные провайдеры начинают признавать, что проблема дефицита GPU — это не временное явление, а системная характеристика современной ИИ-инфраструктуры. Очередь вместо мгновенного отказа — логичный шаг, но интересно, как это скажется на реальной доступности ресурсов для обычных пользователей, когда все научатся ставить запросы на два часа вперед.

Примеры использования

Компании уже тестируют решение: Hudson River Trading отмечает интеграцию в сложные workflow, а Oz Forensics использует для обучения антифрод-моделей на A100 GPU.

Как начать работу

Создание Flex-start VM через gcloud:

gcloud beta compute instances create my-flex-start-vm \ 
 --machine-type=a3-megagpu-8g \ 
 --provisioning-model=FLEX_START \ 
 --max-run-duration=3d \ 
 --request-valid-for-duration=2h \ 
 --zone=us-central1-a

Или через JSON-запрос к API с указанием request_valid_for_duration и provisioningModel: "FLEX_START".

Решение особенно актуально для задач тонкой настройки моделей, пакетного вывода, HPC и исследовательских экспериментов, не требующих немедленного запуска.