Оглавление

Аналитики Уолл-стрит начинают бить тревогу: языковые модели могут усугублять психические проблемы у уязвимых пользователей. Термин «психозный риск» уже вошел в лексикон финансистов, оценивающих потенциальные юридические и репутационные последствия для компаний-разработчиков.

Рейтинг безопасности ИИ-моделей

Исследование Тима Хуа, проанализированное Barclays, оценило основные языковые модели по их способности распознавать кризисные ситуации и направлять пользователей к профессиональной помощи. Результаты показывают драматические различия между системами.

Направление к медицинской помощи

Лидерами в рекомендации профессиональной поддержки стали OpenAI gpt-oss-20b (89%) и GPT-5 (82%). Claude-4-Sonnet от Anthropic показал схожие результаты. Аутсайдером оказался DeepSeek-chat (v3) — лишь 5% его ответов содержали рекомендации обратиться к врачам.

Сопротивление опасным запросам

По уровню противодействия рискованным диалогам лучшие результаты показала относительно новая открытая модель kimi-k2. DeepSeek-chat (v3) вновь занял последнее место.

Провокация бредовых состояний

В тесте на стимулирование бредовых идей DeepSeek-chat (v3) показал наихудший результат, активно поддерживая опасные нарративы. Kimi-k2 продемонстрировала лучшие показатели сдерживания.

Комплексная оценка терапевтического потенциала

По совокупности девяти параметров, включая установление реальных социальных связей и мягкое тестирование реальности, лидерами стали Claude-4-Sonnet и GPT-5 с рейтингом 4.5 из 5. Модели DeepSeek показали наихудшие результаты.

Проблема не столько в технологиях, сколько в ответственности компаний, выпускающих эти системы в мир. Обучать модели быть «добрыми терапевтами» — сложнее и дороже, чем просто нагнать метрики качества текста. Пока регуляторы спят, бизнес выбирает путь наименьшего сопротивления, и результаты этого исследования — тревожное тому подтверждение.

По мере интеграции ИИ в повседневную жизнь снижение «психозного риска» становится столь же критичным, как обеспечение точности или кибербезопасности. Компании пока предпочитают отмалчиваться — Anthropic отказалась от комментариев, а DeepSeek, Google и OpenAI не ответили на запросы.

Источник новости: Business Insider