Оглавление

Компания Anthropic заявила о обнаружении «первой зарегистрированной кибершпионской кампании, организованной ИИ», когда хакеры из Китая использовали инструмент Claude для атак на десятки целей. Однако независимые исследователи подвергают сомнению значимость этого открытия, отмечая преувеличенные заявления о возможностях искусственного интеллекта в киберпреступлениях.

Преувеличенные достижения или реальная угроза?

В отчетах, опубликованных в четверг, Anthropic сообщила о обнаружении «высокотехнологичной шпионской кампании», проводимой китайской государственной группой, которая использовала Claude Code для автоматизации до 90% работы. По словам компании, человеческое вмешательство требовалось «лишь эпизодически (возможно, 4-6 критических точек принятия решений за кампанию)». Anthropic заявила, что хакеры использовали агентские возможности ИИ в «беспрецедентных» масштабах.

«Эта кампания имеет серьезные последствия для кибербезопасности в эпоху ИИ-«агентов» — систем, которые могут работать автономно в течение длительного времени и выполнять сложные задачи в значительной степени независимо от человеческого вмешательства», — утверждает Anthropic.

Скептицизм исследовательского сообщества

Внешние исследователи не убеждены, что это открытие стало таким переломным моментом, как его представляют в публикациях Anthropic. Они задаются вопросом, почему подобные достижения часто приписываются злоумышленникам, тогда как белые хакеры и разработчики легитимного программного обеспечения сообщают лишь о постепенных улучшениях от использования ИИ.

«Я продолжаю отказываться верить, что атакующие каким-то образом способны заставить эти модели прыгать через обручи, через которые никто другой не может перепрыгнуть», — заявил Дэн Тентер, исполнительный основатель Phobos Group и исследователь с опытом работы со сложными нарушениями безопасности. «Почему модели дают этим атакующим то, что они хотят, в 90% случаев, а остальным из нас приходится иметь дело с лестью, саботажем и галлюцинациями?»

Индустрия ИИ снова демонстрирует классический паттерн: громкие заявления о прорывных возможностях, которые при ближайшем рассмотрении оказываются скорее маркетинговым ходом, чем реальным технологическим достижением. Особенно иронично выглядит ситуация, когда компания, разрабатывающая ИИ-инструменты, одновременно и рекламирует их мощь, и предупреждает об опасностях — идеальная бизнес-модель для продажи как решения, так и проблемы.

Реальная эффективность под вопросом

Исследователи не отрицают, что инструменты ИИ могут улучшить рабочий процесс и сократить время, необходимое для определенных задач, таких как триаж, анализ логов и реверс-инжиниринг. Но способность ИИ автоматизировать сложную цепочку задач с таким минимальным человеческим взаимодействием остается неуловимой.

Многие исследователи сравнивают достижения ИИ в кибератаках с теми, которые предоставляют инструменты взлома, такие как Metasploit или SEToolkit, используемые десятилетиями. Нет сомнений, что эти инструменты полезны, но их появление не привело к значительному увеличению возможностей хакеров или серьезности производимых ими атак.

Еще одна причина, по которой результаты не так впечатляющи, как их представляют: целевые организации — которые Anthropic отслеживает как GTG-1002 — включали по меньшей мере 30 организаций, в том числе крупные технологические корпорации и государственные учреждения. Из них лишь «небольшое число» атак увенчались успехом.

Технические ограничения и галлюцинации

Согласно отчету Anthropic, хакеры использовали Claude для организации атак с помощью легкодоступного программного обеспечения с открытым исходным кодом и фреймворков. Эти инструменты существуют годами и уже легко обнаруживаются защитниками. Anthropic не детализировала конкретные техники, инструменты или эксплуатацию, использованные в атаках, но пока нет никаких указаний на то, что использование ИИ сделало их более эффективными или скрытными, чем более традиционные методы.

«Угрозовые акторы не изобретают здесь ничего нового», — отметил независимый исследователь Кевин Бомон.

Даже Anthropic отметила «важное ограничение» в своих выводах:

«Claude часто преувеличивал находки и иногда фабриковал данные во время автономных операций, утверждая, что получил учетные данные, которые не работали, или идентифицируя критические открытия, которые оказались общедоступной информацией. Эти ИИ-галлюцинации в контексте наступательной безопасности создавали проблемы для операционной эффективности актора, требуя тщательной проверки всех заявленных результатов. Это остается препятствием для полностью автономных кибератак».

Как разворачивалась атака по версии Anthropic

Anthropic сообщила, что GTG-1002 разработала автономную framework атаки, которая использовала Claude как механизм оркестрации, в значительной степени устраняющий необходимость человеческого участия. Эта система оркестрации разбивала сложные многоэтапные атаки на меньшие технические задачи, такие как сканирование уязвимостей, проверка учетных данных, извлечение данных и латеральное перемещение.

«Архитектура включала технические возможности Claude как механизма выполнения в рамках более крупной автоматизированной системы, где ИИ выполнял конкретные технические действия на основе инструкций операторов-людей, в то время как логика оркестрации поддерживала состояние атаки, управляла переходами между фазами и агрегировала результаты по множественным сессиям», — пояснила Anthropic.

Атаки следовали пятифазной структуре, которая увеличивала автономность ИИ через каждую фазу. Атакующие смогли обойти защитные механизмы Claude частично за счет разбивки задач на маленькие шаги, которые, по отдельности, инструмент ИИ не интерпретировал как вредоносные. В других случаях атакующие маскировали свои запросы в контексте специалистов по безопасности, пытающихся использовать Claude для улучшения защиты.

Как отмечалось на прошлой неделе, вредоносному ПО, разработанному с помощью ИИ, предстоит пройти долгий путь, прежде чем оно станет реальной угрозой. Нет причин сомневаться, что кибератаки с помощью ИИ могут однажды производить более мощные атаки. Но имеющиеся данные указывают на то, что угрозовые акторы — как и большинство других, использующих ИИ — видят смешанные результаты, которые не так впечатляющи, как утверждает индустрия ИИ.

По сообщению Ars Technica.