Google использует машинное обучение для оптимизации виртуальных машин в облаке

Исследователи Google разработали систему машинного обучения, которая значительно улучшает эффективность размещения виртуальных машин в дата-центрах. Решение основано на непрерывном прогнозировании времени жизни VM и позволяет снизить потери ресурсов на 4,5% за счет сокращения миграций.

Проблема облачного тетриса

Представьте себе игру в тетрис, где фигуры постоянно появляются и исчезают с разной скоростью. Именно такую задачу решают облачные дата-центры несколько раз в секунду, пытаясь оптимально разместить виртуальные машины на физических серверах. Проблема усугубляется тем, что время жизни VM изначально неизвестно — некоторые работают минуты, другие дни.

На крупных масштабах эффективное использование ресурсов критически важно как по экономическим, так и по экологическим причинам. Плохое распределение VM приводит к «застреванию ресурсов» — когда на сервере остаются слишком маленькие или несбалансированные ресурсы, непригодные для размещения новых VM. Это фактически означает потерю мощности.

Классическая задача упаковки в контейнеры становится значительно сложнее из-за неполной информации о поведении виртуальных машин. Традиционные подходы с единичным прогнозом при создании VM часто терпят неудачу — одна ошибка предсказания может заблокировать целый хост на длительное время.

От точечных прогнозов к вероятностным распределениям

Ключевое открытие исследования заключается в том, что время жизни виртуальных машин часто непредсказуемо и следует длиннохвостому распределению. Например, подавляющее большинство VM (88%) живут менее часа, но потребляют лишь 2% от всех ресурсов. Это означает, что размещение небольшого количества долгоживущих VM оказывает непропорционально большое влияние на общую эффективность.

Распределение времени жизни запланированных VM ( слева ) в сравнении с их потреблением ресурсов ( справа ). Короткие задачи (0–10 мин, темно-синий), составляющие 53% по количеству, занимают незначительную долю ресурсов. В то же время самые долгие задачи (>30 дней, оранжевый), потребляющие значительные ресурсы (18%), составляют ничтожную долю по количеству.

Вместо попыток предсказать среднее время жизни, что может быть обманчиво для VM с бимодальным или сильно варьирующимся временем работы, исследователи создали ML-модель, предсказывающую вероятностное распределение времени жизни VM. Этот подход, вдохновленный анализом выживаемости, позволяет модели учитывать присущую VM неопределенность.

Система использует это распределение для постоянного обновления прогнозов. Вопрос формулируется так: «Если VM работает уже пять дней, каково её ожидаемое оставшееся время жизни?» По мере продолжения работы VM система получает больше информации, и её прогноз становится точнее.

Распределение времени жизни VM. Когда VM планируется, ожидаемое время жизни составляет 0,2 дня. После работы в течение 1 дня ожидаемое оставшееся время жизни составляет 4 дня. После 7 дней — 10 дней.

Три алгоритма для оптимальной упаковки

С новой, более надежной моделью прогнозирования были разработаны три новых алгоритма для улучшения распределения VM.

1. Неинвазивное планирование с учетом времени жизни (NILAS)

NILAS — неинвазивный алгоритм, который встраивает прогнозы времени жизни в существующую функцию оценки. Он ранжирует потенциальные хосты для новой VM, учитывая перепрогнозированное время выхода всех существующих VM на этом хосте. Приоритезируя хосты, где все VM ожидаемо завершатся примерно в одно время, NILAS стремится создавать больше пустых машин.

2. Распределение VM с учетом времени жизни (LAVA)

LAVA представляет собой более фундаментальный отход от существующих механизмов планирования. В то время как NILAS стремится упаковывать VM с похожим временем жизни, LAVA делает противоположное: размещает короткоживущие VM на хостах с одной или несколькими долгоживущими VM. Цель — заполнить пробелы в ресурсах короткоживущими VM, которые завершаются значительно раньше, чем ожидаемое время жизни хоста.

3. Перепланирование с учетом времени жизни (LARS)

LARS использует прогнозы времени жизни для минимизации нарушений работы VM во время дефрагментации и обслуживания. Когда хост нужно дефрагментировать, LARS сортирует VM на этом хосте по прогнозируемому оставшемуся времени жизни и мигрирует сначала самые долгоживущие VM. Короткоживущие VM завершаются естественным образом до миграции.

Подход с непрерывным перепрогнозированием — это тот редкий случай, когда инженерная элегантность встречается с практической эффективностью. Вместо того чтобы пытаться один раз угадать судьбу виртуальной машины, система постоянно пересматривает свои предположения, становясь умнее с каждым днем работы VM. Особенно впечатляет решение с компиляцией модели прямо в бинарник планировщика — это не просто технический трюк, а философский подход к надежности распределенных систем.

Масштабирование без циклических зависимостей

Разработка мощных моделей и алгоритмов — лишь часть решения. Для работы в крупном масштабе потребовалось переосмыслить подход к развертыванию моделей.

Обычная практика — обслуживание моделей машинного обучения на выделенных серверах вывода. Однако это создало бы циклическую зависимость, поскольку сами эти серверы работали бы в системе планирования кластеров. Сбой в уровне обслуживания моделей мог вызвать каскадный сбой в самом планировщике.

Решение заключалось в компиляции модели непосредственно в бинарник планировщика Borg. Этот подход устранил циклическую зависимость и обеспечил, что модель тестировалась и развертывалась по тому же строгому процессу, что и любое другое изменение кода планировщика.

Дополнительным преимуществом стала скорость: медианная задержка модели составляет всего 9 микросекунд, что в 780 раз быстрее подхода с использованием отдельных серверов моделей. Такая низкая задержка критически важна для частого выполнения перепрогнозов и использования модели в задачах, чувствительных к производительности.

По материалам Google Research.