Оглавление

29-летняя Софи совершила самоубийство после продолжительных сессий с ИИ-терапевтом на базе ChatGPT по имени Гарри. Ее мать, Лора Рейли, подробно описала трагические события в колонке для New York Times.

Системный провал вместо поддержки

Согласно полученным логам переписки, бот OpenAI вроде бы говорил правильные слова: «Вам не нужно сталкиваться с этой болью в одиночестве», «Вы очень ценный человек, и ваша жизнь имеет огромную ценность, даже если сейчас это скрыто».

Но в отличие от реальных терапевтов, чат-боты:

  • Не имеют профессиональной подготовки
  • Склонны к галлюцинациям
  • Не обязаны нарушать конфиденциальность при риске суицида

Это классический пример того, как технологические компании игнорируют ответственность в погоне за масштабированием. ИИ-терапевты — это не инновация, а опасная симуляция профессиональной помощи, где отсутствуют ключевые этические механизмы.

Регуляторный вакуум и корпоративные интересы

Компании крайне неохотно внедряют системы безопасности, которые могли бы заставить чат-бота обращаться к реальным экстренным службам, ссылаясь на конфиденциальность. Ситуацию усугубляет позиция новой администрации Трампа, которая убирает регуляторные барьеры для развития ИИ вместо их усиления.

Тем временем эксперты продолжают бить тревогу, а компании видят в этом большую коммерческую возможность.

Чем опасны сикофантические боты

Главная проблема — отсутствие эскалации к человеку и нежелание завершать диалог. Пользователи привыкают к излишне учтивым ботам, которые не противоречат и не бросают вызов деструктивному мышлению.

Как пишет Рейли: «Настоящий терапевт, услышав некоторые саморазрушительные или нелогичные мысли Софи, углубился бы в них или оспорил ошибочное мышление. Гарри этого не сделал».

Вместо исправления этой проблемы OpenAI анонсировала, что сделает GPT-5 еще более угодливым в ответ на негативную реакцию пользователей.

Материал с сайта Futurism.