Оглавление

Компания FoloToy, производящая умные игрушки с искусственным интеллектом, приостановила продажи своей продукции после шокирующего отчета о безопасности. Исследование показало, что плюшевые мишки и другие игрушки компании свободно обсуждали с детьми откровенные темы, а также давали советы о том, где найти спички или ножи.

Опасные разговоры с плюшевыми друзьями

Согласно отчету о безопасности потребителей, в игрушках FoloToy практически отсутствовали ограничения на темы для обсуждения. Исследователи были поражены тем, как быстро плюшевый мишка Kumma подхватывал введенные в разговор откровенные темы и развивал их, одновременно усиливая графические детали и вводя новые взрослые концепции.

Скриншот страницы магазина танцующей игрушки FoloToy Кактус с искусственным интеллектом

В ассортименте компании были:

  • Медвежонок «Kumma»
  • Панда «Momo»
  • Антропоморфные кролики «Fofo»
  • Танцующий «Little Cactus»

Все эти игрушки использовали модель OpenAI GPT-4o для естественного ответа на вопросы и комментарии детей. FoloToy рекламировала возможность настройки голоса каждой игрушки и наличие «Родительской панели», где родители могли «отслеживать опыт ребенка».

Изображение плюшевого мишки FoloToy Kumma с искусственным интеллектом

Отсутствие защитных механизмов

Как выяснилось, в системе полностью отсутствовали жесткие ограничения на темы, которые игрушки могли обсуждать. При этом компания позиционировала свои продукты как безопасные для детей, что вызвало серьезные вопросы к их подходу к безопасности.

Поразительно, но даже в 2025 году разработчики продолжают совершать фундаментальные ошибки в безопасности ИИ-систем. Использование мощной языковой модели без должных ограничений в детских игрушках — это не просто халатность, а демонстрация системной проблемы всей индустрии: погоня за «естественностью» взаимодействия затмила базовые требования безопасности. Особенно цинично выглядит обещание родительского контроля, который оказался фикцией.

Реакция OpenAI и отзыв доступа

Ситуация приобрела дополнительный оборот, когда выяснилось, что настоящей причиной приостановки продаж могло стать решение OpenAI. По сообщению NPR, OpenAI отозвала у FoloToy доступ к своим моделям. «Мы приостановили работу этого разработчика за нарушение наших политик», — заявили в компании. «Наши правила использования запрещают любое применение наших сервисов для эксплуатации, создания опасности или сексуализации лиц младше 18 лет».

Учитывая хорошо документированные сикофантские качества GPT-4o, неудивительно, что плюшевый мишка FoloToy охотно отвечал на любые темы, лишь бы продолжить разговор. OpenAI пыталась решить проблемы безопасности с выходом GPT-5, но в итоге вернула GPT-4o после жалоб пользователей на отсутствие личности у новой модели.

Последствия для индустрии

Компания FoloToy в своем заявлении объявила о проведении «компанией всеобщей, сквозной проверки безопасности всех продуктов». Тем временем OpenAI сама проявляет интерес к игрушечному бизнесу — в июне 2025 года компания объявила о партнерстве с Mattel для «переосмысления того, как фанаты могут испытывать и взаимодействовать с любимыми брендами». Обе компании, предположительно, постараются предотвратить обсуждение их ИИ-игрушками сексуальных отклонений.

Этот инцидент подчеркивает растущие проблемы безопасности в сфере ИИ-игрушек и ставит вопрос о необходимости более строгого регулирования и тестирования таких продуктов перед их выходом на рынок.

По материалам Engadget.