Компании сталкиваются с новым риском — «тихими сбоями» ИИ, когда микроскопические ошибки незаметно накапливаются и приводят к финансовым потерям. Проблема связана с растущей сложностью моделей и потерей управляемости.
Отчёт OpenAI показал, как LLM используются для автоматизации мошенничества — от романтических схем до политических кампаний. ИИ ускоряет производство убедительного контента, превращая социальную инженерию в масштабируемую индустрию.
Пароли от LLM выглядят сложными, но повторяются и предсказуемы. Исследование показало критически низкую реальную энтропию и реальные риски для кода и инфраструктуры.
Claude Code Security от Anthropic «читает» код, как исследователь: понимает потоки данных, находит логику ошибок и генерирует патчи с рейтингом. Минус ложных позитивов — многоступенчатая проверка ИИ. Уже нашёл 500+ багов в open-source, но риски: такие же инструменты помогут хакерам.
Агентные ИИ не ломаются внезапно: они дрейфуют — меняют поведение от обновлений промптов и инструментов, накапливая риски месяцами. Традиционные тесты не ловят это, нужна поведенческая диагностика для CIO и CTO.
Восемь популярных браузерных расширений с 8 млн установок тайно собирают полные диалоги пользователей с ChatGPT, Claude и другими ИИ для продажи маркетологам. Расширения обещают защиту, но сами являются инструментом слежки.