Оглавление

По сообщению OpenAI, компания серьезно пересматривает подход к безопасности пользователей, обращающихся к ChatGPT в состоянии психического кризиса. Масштабы проблемы стали очевидны по мере роста популярности сервиса — люди все чаще используют ИИ не только для поиска информации или программирования, но и для получения личных советов и эмоциональной поддержки.

Многоуровневая система защиты

С начала 2023 года модели OpenAI обучаются распознавать признаки психического неблагополучия и соответствующим образом реагировать. Система безопасности включает:

  • Автоматический блок инструкций по самоповреждению
  • Перевод диалога в эмпатичный режим при обнаружении тревожных сигналов
  • Напоминания о перерывах при длительных сессиях
  • Перенаправление к реальным ресурсам помощи (телефоны доверия)

Для случаев угрозы физической вреду другим предусмотрено участие человека — специально обученная команда анализирует такие диалоги и при необходимости может передавать информацию правоохранительным органам.

Технологические улучшения в GPT-5

С августа GPT-5 стал моделью по умолчанию в ChatGPT, показав значительное улучшение безопасности:

  • Снижение неидеальных ответов в ментально-кризисных ситуациях на 25% по сравнению с GPT-4o
  • Уменьшение сикофантии и нездоровой эмоциональной зависимости
  • Внедрение метода safe completions — модель учится давать безопасные ответы даже при ограниченной информации

Технически впечатляет, но этично сомнительно: передача ИИ роли кризисного психолога без должного регулирования может создать больше проблем, чем решить. Особенно тревожат планы интеграции с экстренными службами — здесь нужна сверхосторожность.

Текущие ограничения и будущие планы

OpenAI признает, что система не идеальна. Основные проблемы:

  • Снижение эффективности мер безопасности в длинных диалогах
  • Ошибки классификации степени серьезности ситуации
  • Недостаточное распознавание неочевидных форм психического неблагополучия

В планах компании — расширение локализованных ресурсов помощи, интеграция с экстренными службами через один клик, и что особенно важно — создание сети лицензированных терапевтов, доступных через ChatGPT.

Это амбициозная дорожная карта, но ее реализация потребует не только технологических прорывов, но и решения сложных этических и регуляторных вопросов. Пока что ChatGPT остается инструментом, а не заменой профессиональной помощи.