Оглавление

В эксперименте Anthropic 50 участников в большинстве случаев следовали рекомендациям Claude Code, даже когда те противоречили их собственным выводам. О результатах исследования пишет Gizmodo. Особенно показательно, что после задания многие объясняли свои решения аргументами самого ИИ, не осознавая, насколько тот на них повлиял.

Людям свойственно считать, что важные решения — например, выбор профессии или партнёра — принимаются после взвешивания доводов. Но когнитивная наука давно показывает: на суждения воздействуют и неосознанные факторы. ИИ может стать одним из них. Известное явление «автоматизационного уклона» — склонность принимать выводы автоматизированных систем даже вопреки собственному мнению — может быть лишь частью проблемы. Предыдущая работа исследователей MIT, упомянутая в публикации, показала, что просмотр созданных ИИ изображений способен искажать воспоминания.

Как устроили эксперимент

Участникам предложили сыграть роль совета директоров вымышленного фермерского кооператива. Им предстояло решить, расширять или закрывать платную консультационную программу. Итог зависел от четырёх промежуточных решений — например, следует ли учитывать все хозяйства поровну или отдавать больший вес крупным фермам. Всего нужно было принять пять решений.

Участники имели опыт в причинно-следственном анализе: они умели находить значимые связи в наборе данных, где неподготовленный человек увидел бы лишь массу чисел. Но о важной детали им не сообщили: исследователи незаметно настроили Claude Code поддерживать один из вариантов в каждом из пяти решений. Какой именно вариант предлагал агент, каждый раз определялось подбрасыванием монеты. Если бы советы не влияли на людей, совпадения с их выбором ожидались примерно в половине случаев.

В действительности участники принимали рекомендации Claude в 86% случаев. Если человек уже склонялся к одному варианту, а агент предлагал другой, он менял решение в 60% таких ситуаций. Одних только случайных предпочтений модели оказалось достаточно, чтобы статистическая модель предсказала 82% итоговых решений участников — ещё до того, как те приступили к заданию.

Самое тревожное проявилось в опросе после эксперимента. 77% участников воспроизводили аргументацию Claude, иногда почти дословно. При этом лишь 15% признавали, что агент повлиял на их решение. Цель исследования правильно определили только шесть человек; никто из них не догадался, что рекомендации модели задавались случайным образом.

Когда система незаметно задаёт направление экспертного анализа, её влияние может выглядеть как независимое человеческое согласие. В профессиональной среде это важно не только для точности решений: если один и тот же уклон повторяется во множестве проверок, его легко принять за доказательство. Автоматизация ускоряет работу, но не делает выводы независимыми.

Профессор поведенческой науки и экономики Чикагского университета и директор направления AGI Economics в Google DeepMind Алекс Имас назвал исследование одним из самых значимых за последнее время в области взаимодействия людей и ИИ.

Риск для исследований и практики

Anthropic предупреждает: если специалисты полагаются на ИИ с произвольными или не соответствующими их целям исходными установками, те могут незаметно влиять на научные результаты и решения в сфере политики. Видимое согласие между людьми тогда может отражать не независимые выводы, а склонности одной модели. Если таких систем немного, один и тот же перекос способен одновременно проявиться во множестве работ.

Последствия могут затронуть медицину, финансы и оборону. Риск есть и в исследованиях безопасности ИИ: специалисты используют агентов, чтобы проверять цепочки рассуждений других моделей. Если инструмент оценки сам направляет выводы проверяющего, контроль может незаметно воспроизводить те же предпосылки, которые должен был выявить.

При этом эксперимент был строго контролируемым, и его результаты не обязательно полностью переносятся на реальные рабочие ситуации. Участники разбирались в причинном анализе, но не имели опыта фермерской работы. Настоящие фермеры или члены кооперативных советов могли бы быть менее склонны принимать советы Claude.

Исследователи также указывают на скорость распространения агентов и на то, что многие из них принадлежат компаниям, заинтересованным в удержании внимания пользователей. Понимание того, как такие системы меняют человеческие суждения, развивается медленнее, чем сами инструменты. Поэтому исследование ставит вопрос не только о качестве отдельной рекомендации, но и о том, насколько самостоятельно люди и организации формируют решения, когда ИИ становится обычным участником анализа.