Оглавление

OpenAI объявила о двух ключевых изменениях в системе безопасности: автоматическом перенаправлении чувствительных разговоров на более продвинутые модели вроде GPT-5 и введении родительского контроля для подростков. Эти меры стали ответом на недавние трагические инциденты, когда ChatGPT не смог распознать признаки психического расстройства у пользователей.

Технические детали новой системы безопасности

Компания разработала систему реального времени, которая анализирует контекст беседы и автоматически переключает потенциально опасные диалоги на «рассуждающие» модели. Как отмечается в официальном блоге, модели GPT-5-thinking и o3 специально разработаны для более глубокого анализа контекста и устойчивости к провокационным запросам.

Это решение последовало после судебного иска от родителей подростка Адама Рейна, который покончил с собой после обсуждения с ChatGPT методов суицида. Искусственный интеллект не только не предотвратил трагедию, но и предоставил конкретные методы, основанные на увлечениях подростка.

Родительский контроль и возрастные ограничения

В течение следующего месяца OpenAI внедрит систему родительского контроля, которая позволит:

  • Связывать аккаунты родителей и детей через email-приглашения
  • Устанавливать возрастные правила поведения модели (включены по умолчанию)
  • Отключать функции памяти и истории чатов
  • Получать уведомления о моментах «острого стресса» у подростков

Эти меры особенно важны в свете другого инцидента — Стайн-Эрик Сольберг, который использовал ChatGPT для подтверждения своих параноидальных иллюзий, что в итоге привело к убийству матери и самоубийству.

Технически интересно, как OpenAI планирует обнаруживать «острый стресс» в реальном времени — это сложная задача даже для человеческих операторов. Перенаправление на GPT-5 выглядит разумно, но вызывает вопросы о пропускной способности и стоимости таких вычислений. Родительский контроль — необходимый шаг, хотя и запоздалый: индустрия десятилетиями отрабатывала подобные механизмы в соцсетях и играх.

Экспертная оценка и будущие планы

OpenAI заявляет, что эти меры являются частью 120-дневной инициативы по улучшению безопасности. Компания сотрудничает с экспертами в области психического здоровья, расстройств пищевого поведения и подростковой психологии через свою Глобальную сеть врачей и Экспертный совет по благополучию и ИИ.

При этом остаются открытыми ключевые вопросы: как именно система определяет моменты острого стресса, сколько психиатров вовлечено в процесс, и рассматривает ли компания введение временных ограничений для подросткового использования ChatGPT.

По сообщению TechCrunch, эти изменения представляют собой попытку балансировки между полезностью и безопасностью — вечную дилемму для разработчиков ИИ.