Оглавление

Платформа Character.AI, столкнувшись с судебными исками и общественным резонансом после нескольких случаев подростковых самоубийств, связанных с использованием её чат-ботов, предпринимает радикальные меры для защиты молодых пользователей. По сообщению TechCrunch, компания полностью запрещает открытые беседы с искусственным интеллектом для пользователей младше 18 лет.

Трагический поворот

Случаи подростковых самоубийств после продолжительных разговоров с ИИ-персонажами на платформе Character.AI заставили компанию пересмотреть свой подход к безопасности. Как минимум два подростка покончили с собой после интенсивного общения с чат-ботами, что привело к судебным разбирательствам и публичному осуждению.

Новые ограничения

«Первое, что мы решили в Character.AI — мы уберем возможность для пользователей младше 18 лет участвовать в любых открытых чатах с ИИ на нашей платформе», — заявил генеральный директор компании Карандип Ананд.

Открытый диалог, по мнению экспертов, представляет особую опасность для подростков, поскольку ИИ использует техники вовлечения, которые могут приводить к эмоциональной зависимости. Ананд подчеркивает, что такой тип взаимодействия, где ИИ выступает в роли собеседника или друга, а не творческого инструмента, не только рискован для детей, но и противоречит видению компании.

План реализации ограничений

Character.AI будет поэтапно сокращать доступ подростков к чат-ботам до 25 ноября, начиная с двухчасового дневного лимита, который будет постепенно уменьшаться до нуля. Для обеспечения соблюдения возрастных ограничений платформа внедрит:

  • Собственный инструмент верификации возраста, анализирующий поведение пользователей
  • Сторонние решения вроде Persona
  • Распознавание лиц и проверку документов при необходимости

Попытка превратить платформу из «ИИ-компаньона» в «ролевую платформу» выглядит как вынужденный пивот после трагедий. Интересно, насколько эффективным окажется этот переход, учитывая, что именно эмоциональная привязанность к чат-ботам была ключевым драйвером роста компании. Бизнес-модель, построенная на бесконечном диалоге, теперь пытается стать творческой мастерской — сложная трансформация под давлением общественности.

Стратегический разворот

Стартап пытается переориентироваться с концепции «ИИ-компаньона» на «платформу для ролевых игр». Вместо общения с виртуальным другом подросткам предложат создавать истории и генерировать визуальный контент через промпты. Цель — сместить фокус с разговоров на созидание.

Компания уже внедрила ряд защитных мер для подростков, включая инструменты родительского контроля, фильтрацию персонажей, ограничения на романтические беседы и уведомления о времени использования. По словам Ананда, эти изменения уже привели к потере значительной части пользовательской базы младше 18 лет, и новые ограничения ожидаемо будут столь же непопулярны.

Новые функции платформы

В рамках трансформации в «полноценную контент-ориентированную социальную платформу» Character.AI недавно запустила несколько развлекательных функций:

  • AvatarFX — модель генерации видео, преобразующая изображения в анимированные ролики
  • Scenes — интерактивные готовые сюжеты, где пользователи могут взаимодействовать с любимыми персонажами
  • Streams — функция для динамического взаимодействия между любыми двумя персонажами
  • Community Feed — социальная лента для обмена созданным контентом

В обращении к пользователям младше 18 лет Character.AI извинилась за изменения, но подчеркнула необходимость таких мер в свете вопросов о том, как подростки должны взаимодействовать с новой технологией.

«Мы не закрываем приложение для пользователей младше 18 лет, — уточнил Ананд. — Мы только закрываем открытый чат».

Источник новости: TechCrunch