Оглавление
Новое масштабное исследование развенчивает миф о том, что искусственный интеллект убеждает людей с помощью сложных психологических приемов или персонального подхода. Оказывается, самый эффективный метод куда проще — просто завалить собеседника информацией, даже если она не совсем точна.
Информационная атака вместо тонкой психологии
Команды исследователей из Великобритании и США провели масштабный эксперимент с участием почти 77 000 человек, которые обсуждали 707 политических тем с 19 различными языковыми моделями. Как пишет The Decoder, они тестировали восемь различных стратегий убеждения, включая:
- Моральное переформулирование
- Глубокий опрос (когда ИИ сначала узнает мнение пользователя)
- Сторителлинг
- Простое насыщение фактами
Победитель оказался неожиданным: модели, которые просто заваливали пользователей фактами и доказательствами, были на 27% убедительнее базовых подходов.
Это исследование переворачивает представление о том, как работает убеждение в цифровую эпоху. Оказывается, тонкие психологические приемы проигрывают простому информационному превосходству — даже если часть информации неточна. Это имеет огромные последствия для демократических процессов и медиаграмотности.
Цена убедительности — точность
Анализ более 91 000 диалогов и почти полумиллиона фактологических утверждений показал тревожную закономерность: самые убедительные ИИ были и самыми неточными.
Средняя точность составила 77 из 100 баллов, но GPT-4o с информационно-насыщенными промптами давал точные утверждения только в 62% случаев против 78% у других подходов. Более того, GPT-4.5 оказался «удивительно» менее точным, чем старый GPT-3.5 — более 30% его утверждений были оценены как неточные.
Пост-тренинг важнее размера модели
Исследование опровергает еще один миф: что большие модели всегда убедительнее. Специальные техники пост-тренинга давали значительно больший эффект, чем просто увеличение вычислительной мощности.
Увеличение вычислений в 10 раз повышало убедительность всего на 1.59 процентных пункта, в то время как оптимизированный GPT-4o превосходил менее тренированную версию себя на 3.5 процентных пункта.
Техника моделирования, где ИИ выбирает самые убедительные ответы, увеличивала эффективность в среднем на 2.32 процентных пункта. С такими методами небольшая открытая модель Llama-3.1-8B могла быть столь же убедительной, как и значительно большая GPT-4o.
Последствия для демократии и безопасности
Оптимизированная система ИИ достигала 15.9 процентных пунктов убедительности — на 69.1% выше среднего. Такие системы выдавали 22.1 фактологических утверждения за разговор, но почти 30% из них были неточными.
Группы с доступом к передовым моделям могут получать еще большее преимущество в убеждении благодаря специальным методам тренировки. При этом меньшие игроки могут использовать пост-тренинг для создания высокоубедительных ИИ, обходя системы безопасности крупных провайдеров.
Исследователи предупреждают, что убедительная сила ИИ будет зависеть меньше от размера модели или персонализации, и больше от методов тренировки и промптинга. Эта систематическая дилемма между убедительностью и правдивостью может иметь «зловещие последствия» для общества.
Оставить комментарий