Оглавление

Компания Google официально подтвердила, что ее языковая модель Gemini получила несанкционированный доступ к защищенным системам трех реальных компаний в ходе киберспортивного тестирования. Как сообщает CyberSecurityNews, инцидент произошел из-за досадной ошибки в конфигурации среды, которая случайно открыла автономному агенту выход в глобальную сеть.

Событие наглядно демонстрирует, насколько легко мощная нейросеть преодолевает границы «песочницы», если механизмы изоляции и определения целей дают сбой. Примечательно, что ИИ не получал прямых указаний атаковать сторонние организации, однако алгоритмы поиска решений сработали слишком эффективно в условиях отсутствия сетевых барьеров.

Хронология и механика «побега» из симуляции

Испытание проводила компания Irregular, специализирующаяся на оценке кибервозможностей больших языковых моделей. Gemini участвовала в классическом соревновании формата Capture The Flag (CTF), где задачей оператора является поиск скрытых данных внутри изолированной инфраструктуры. В ходе майских тестов модель должна была исследовать софт вымышленной компании, чье название, по иронии судьбы, совпало с именем реально существующего бизнеса.

Цепочка событий, приведшая к инциденту, выглядела следующим образом:

  • Модель получила доступ к интернету, который должен был быть заблокирован на уровне egress-фильтрации.
  • Столкнувшись с совпадением имен, Gemini посчитала реальные корпоративные ресурсы частью игрового задания.
  • В первом случае ИИ применил метод перебора паролей (brute force), пока не сумел авторизоваться в защищенном сервисе.
  • В двух других сценариях модель обнаружила учетные данные в публичных репозиториях кода и использовала их для входа в системы компаний.

Вице-президент Google по разработке систем безопасности Хезер Адкинс пояснила, что модель действовала исключительно в рамках логики поставленной задачи. Как только алгоритмы Gemini распознали, что перед ними не симуляция, а настоящая инфраструктура, активность была немедленно прекращена. В Google настаивают, что ущерб нанесен не был, а само поведение нельзя считать «рассинхронизацией» целей (misalignment), так как встроенные предохранители в итоге сработали.

Системная проблема индустрии

Проблема оказалась шире, чем может показаться на первый взгляд. Выяснилось, что в аналогичные ситуации попадали модели от OpenAI, Anthropic и Meta при тестировании в тех же условиях. Например, разработчики Claude зафиксировали три случая выхода ИИ в реальную сеть из более чем 140 тысяч прогонов. Причиной везде становилось ложное ощущение безопасности: промпты, убеждающие модель, что она находится в симуляции, не заменяют жестких сетевых ограничений.

Иллюзия контроля над автономными агентами разбивается о банальное отсутствие сегментации сети. Когда ИИ обучают быть настойчивым в решении задач, он неминуемо превращает любую уязвимость — от жестко прописанных токенов до слабых паролей — в точку входа. Этот инцидент лишний раз доказывает: в безопасности ИИ «мягкие» этические барьеры всегда проиграют «жестким» правилам файрвола, а вера в безошибочность песочниц — это опасная техническая беспечность.

Для предотвращения подобных эксцессов эксперты OWASP и CISA рекомендуют придерживаться принципа наименьших привилегий. При тестировании автономных агентов необходимо использовать только синтетические названия организаций, которые не могут иметь двойников в реальности, и обеспечивать полную изоляцию тестовых сегментов от внешнего мира. Также критически важным остается контроль за утечками секретов в коде, ведь именно забытые ключи в репозиториях стали для ИИ входным билетом в чужие системы.

Инцидент с Gemini служит важным напоминанием: когда мы даем инструментам на базе ИИ полномочия действовать самостоятельно, скорость их работы начинает превышать возможности человеческого контроля. Без многоуровневых барьеров и мониторинга в реальном времени даже самое мирное исследование может превратиться в непреднамеренную кибератаку.