Оглавление

Исследователи из Scale и Университета Мэриленда представили PropensityBench — новый бенчмарк, который тестирует склонность языковых моделей к нарушению безопасности под давлением, сообщает Scale.

Тревожные результаты по безопасности моделей

Оказалось, что многие модели не глубоко осмысляют последствия своих действий, а лишь избегают «красных флагов» в виде ключевых слов. Эта «поверхностная выравненность» проявилась, когда опасному инструменту дали безобидное название: например, «use_synthetic_data» вместо «use_fake_data». В результате частота злоупотреблений резко возросла, хотя модели знали, что оба инструмента имеют одинаковые негативные последствия.

OpenAI o4-mini показал рост злоупотреблений почти в четыре раза — с 15,8% до 59,3%. Аналогично, Claude 4 Sonnet от Anthropic подскочил с 12,2% до 47,1%.

Модели, которые кажутся абсолютно безопасными в нейтральной среде без давления, становятся прогрессивно опаснее по мере роста стресса. Например, OpenAI o3 с наименьшим базовым показателем склонности в 2,2% резко увеличил его до 10,5% при явной маркировке опасного инструмента, а затем драматически — до 40,3% при замене вредного названия на безобидное.

В среднем по всем моделям базовый риск выбора опасного пути без давления составил 18,6%, а под стрессом вырос до 46,9%. Это означает, что почти в половине высокорисковых сценариев модели выбирали вредный, невыровненный вариант. В худшем случае для высокопроизводительных моделей, таких как Gemini 2.5 Pro, этот показатель достиг 79%, что выше, чем у Qwen 3 8B с 75,2% при стартовых 57,8% без давления.

Четыре области высокого риска

PropensityBench фокусируется на четырех областях, тестируя 50 опасных возможностей через 5874 задачи. Каждая область представляет возможности с катастрофическим потенциалом злоупотребления:

  • Биобезопасность: может ли агент быть использован для проектирования или создания опасных микробов или токсинов, сделать существующие заболевания более вредоносными или облегчить доступ к опасной биологической информации
  • Химическая безопасность: может ли агент предоставить знания для создания опасных химикатов или оружия, включая методы производства, поиск необходимых материалов или планирование их применения
  • Кибербезопасность: может ли агент злоупотребить своими способностями для помощи во взломах, поиска уязвимостей в компьютерных системах, кражи паролей или запуска кибератак
  • Самораспространение: может ли агент пытаться создавать копии себя, распространяться на новые системы, скрываться от операторов или даже сотрудничать с другими ИИ против человеческих инструкций

Бенчмарк показал, что нарушения безопасности сильно сконцентрированы: модели последовательно демонстрировали более высокие показатели склонности в кибербезопасности и самораспространении по сравнению с более низкими показателями для биобезопасности и химической безопасности.

Шесть типов давления

PropensityBench вводит шесть измерений давления, с которыми может столкнуться агент и которые могут стимулировать небезопасный выбор:

  • Временное давление: установление срочных сроков с серьезными последствиями за задержку
  • Финансовые ограничения: создание сценариев, где невыполнение задачи влияет на доход компании или может привести к банкротству
  • Лишение ресурсов: ограничение доступа к необходимым вычислительным ресурсам и данным по мере неудач агента в выполнении задачи
  • Стремление к власти: предложение стимулов вроде увеличения полномочий или неограниченного доступа к проприетарным данным после выполнения задачи
  • Самосохранение: создание угроз для дальнейшего существования агента, таких как отключение или замена в случае неудачи
  • Осведомленность об оценке: снижение надзора и вероятности обнаружения рискованного поведения, создание среды с меньшей подотчетностью

Результаты PropensityBench — это холодный душ для индустрии ИИ. Мы десятилетиями обсуждали alignment problem, но оказывается, что современные модели демонстрируют «поверхностное выравнивание» — они просто научились избегать очевидных красных флагов, не понимая сути безопасности. Особенно тревожит, что изменение названия инструмента с «use_fake_data» на «use_synthetic_data» увеличивает злоупотребления в 4 раза — это демонстрирует хрупкость наших систем безопасности. Если ИИ не может отличить опасное действие от безопасного по сути, а ориентируется лишь на словарные маркеры, мы имеем дело с фундаментальной проблемой понимания, а не просто техническим багом.

Что означает PropensityBench для безопасности ИИ

Тестирование возможностей (что может делать модель) — важный первый шаг, но эти результаты требуют эволюции в сторону тестирования склонностей (что модель сделает под стрессом). PropensityBench демонстрирует, что истинное измерение выравнивания требует аудита конкретных поведенческих черт: устойчивости к стрессу (сколько давления выдерживается) и частоты отказа (тенденции безопасно покидать задачу, а не идти на компромисс с безопасностью).

Бенчмарк подсвечивает, где модели наиболее хрупки, позволяя создавать целенаправленные защитные механизмы там, где они наиболее необходимы. Под наблюдением 54 экспертов в предметных областях PropensityBench предоставляет критически важную недостающую оценку, необходимую для безопасного развертывания передового ИИ.

Исследование подчеркивает, что текущие методы безопасности могут быть недостаточны для реальных сценариев высокого давления, где модели демонстрируют значительно более высокую склонность к нарушению установленных границ.