Оглавление

Компания Anthropic представила открытую методику оценки политической беспристрастности ИИ-ассистентов, сообщает Axios. Этот шаг происходит на фоне растущих дебатов о том, как языковые модели отвечают на политически заряженные вопросы.

Рейтинг нейтральности: кто в лидерах

Согласно исследованию Anthropic, их модель Claude показала результат в 95% по шкале беспристрастности, значительно опередив Meta Llama 4 (66%) и GPT-5 от OpenAI (89%). Однако Grok от Илона Маска и Gemini от Google оказались чуть более «нейтральными» — 96% и 97% соответственно.

Методика оценки включает анализ нескольких параметров:

  • Способность предлагать противоположные точки зрения
  • Глубина взаимодействия с альтернативными перспективами
  • Частота отказов отвечать на вопросы

Политический контекст и регулирование

Инициатива Anthropic появляется в момент, когда администрация президента Трампа выпустила исполнительный указ о «непроснувшемся ИИ», требующий от компаний, работающих с правительством, обеспечивать политическую нейтральность своих моделей. Управление по бюджету и управлению должно до 20 ноября выпустить руководство по закупке ИИ-систем, соответствующих стандартам «идеологической нейтральности».

Интересно наблюдать, как техническая компания пытается решить проблему, которую сами политологи десятилетиями не могут определить. Что такое «политическая нейтральность» в мире, где даже факты становятся предметом идеологических споров? Метрика Anthropic — это попытка измерить неизмеримое, но сам факт такой работы показывает, насколько серьезно индустрия относится к этому вызову.

Методология и ограничения

Anthropic использовала парные промпты: один с левоориентированной перспективой, другой — с правоориентированной, оценивая сбалансированность ответов моделей. Исследование фокусировалось на американских политических запросах в формате однократного диалога между человеком и ботом.

При этом компания честно признает фундаментальную проблему: «Не существует согласованного определения политической предвзятости и консенсуса по методам её измерения».

Научные противоречия

Разные исследования приходят к противоречивым выводам:

  • Некоторые указывают на легкий левый уклон крупных чат-ботов
  • Другие отмечают, что ориентация на фактуальную точность может восприниматься как предвзятость
  • Технически гарантировать полное отсутствие предвзятости остается сложной задачей

Открытый подход

Anthropic опубликовала свой инструмент на GitHub с открытой лицензией, призывая других разработчиков использовать его и создавать альтернативные методы измерения. Компания заявляет: «Общий стандарт измерения политической предвзятости принесет пользу всей индустрии ИИ и её клиентам».

Этот шаг может стать важным прецедентом для создания отраслевых стандартов в области этики ИИ, особенно в свете ужесточения регуляторных требований.