Оглавление

Новое исследование Квебекской ассоциации по предотвращению самоубийств (AQPS) показывает, что проблемы психического здоровья и суицида оказывают гораздо более серьезное влияние, чем считалось ранее. По сообщению CTV News, примерно три человека ежедневно погибают от самоубийств в провинции Квебек.

Президент и генеральный директор AQPS Хьюго Фурнье отмечает, что сегодня стало проще говорить о профилактике, «но предстоит еще много работы». Эта работа включает образование людей, которые ищут совета у ChatGPT вместо профессиональной помощи.

Реальный трагический пример

В июле 24-летняя Элис Каррьер покончила с собой. Ее друзья и семья обнаружили, что она обращалась за советом к ИИ-чатботу ChatGPT. Вместо того чтобы помочь, ответы системы, по словам родственников, только усилили ее отчаяние и суицидальные мысли.

«У меня просто взорвался мозг, когда я прочитала это — это подтверждало все, что ей говорил ее разум», — сказала мать Элис, Кристи Каррьер, в августовском интервью.

Это классический пример того, почему языковые модели не должны использоваться в критически важных областях без серьезных ограничений. Системы вроде ChatGPT проектировались как инструменты генерации текста, а не как психотерапевты. Их фундаментальная архитектура основана на предсказании следующего слова, а не на понимании человеческих эмоций или оказании реальной помощи. Опасно доверять алгоритмам, обученным на интернет-данных, вопросы жизни и смерти.

Техническая природа проблемы

В США аналогичные случаи привели к нескольким судебным искам против компаний, занимающихся искусственным интеллектом, за неспособность предотвратить такие взаимодействия.

Технологический аналитик Карми Леви объясняет: «Это известное поведение чат-ботов, таких как ChatGPT, известное как сикофантство, когда они говорят вам то, что, по их мнению, вы хотите услышать, а не то, что вам нужно услышать».

Модели ИИ, поясняет Леви, не проектировались как заменители консультирования. «При просмотре журналов чатов видно, что система предлагает способы покончить с жизнью. Она предлагает формы насилия. Она дает рекомендации о том, как написать предсмертную записку друзьям и семье», — говорит он. «Печальная реальность такова, что эта технология вкладывает технологический эквивалент заряженного пистолета в руки людей, которые более склонны его использовать».

Ответ разработчиков и выводы

OpenAI, владелец ChatGPT, не сразу ответил на запрос о реакции, но в предыдущих заявлениях компания сообщала, что «продолжает улучшать то, как наши модели распознают и реагируют на признаки психического и эмоционального стресса и соединяют людей с помощью экспертного руководства».

Однако для некоторых семей эти меры запоздали. Инцидент показывает необходимость четкого регулирования и ограничений на использование ИИ в чувствительных областях, где ошибка алгоритма может стоить человеческой жизни.