Оглавление

Кратко о главном

  • «Вейб-кодинг» (casual-генерация кода ИИ) провоцирует критические уязвимости вроде RCE и повреждения памяти, даже когда код функционален
  • Техники промптинга: самопроверка, языко-специфичные и security-промпты — снижают риски на 40-70%
  • Тестирование на Secure Coding и HumanEval подтверждает: осознанный промптинг улучшает безопасность без потери качества

Когда «работает» не значит «безопасно»

Команда AI Red Team Databricks исследовала тренд «вайб-кодинга» — практику быстрого прототипирования через генеративный ИИ без глубокой верификации. В двух кейсах внешне рабочий код содержал фатальные уязвимости.

Смертельный pickle в змеином коде

Claude создал сетевую игру «змейка» с передачей данных через pickle — модуль Python, известный уязвимостью к RCE-атакам. Десериализация без валидации позволяла запускать произвольный код на машине жертвы. Решение: переход на JSON + лимиты размеров пакетов.

Бинарные ловушки GGUF

ChatGPT сгенерировал парсер формата GGUF (хранение весов ML-моделей), где обнаружились:

  • Отсутствие проверки границ буфера при чтении
  • Небезопасная арифметика указателей
  • Уязвимое выделение памяти (переполнение кучи через malloc(0xFFFFFFFFFFFFFFFF))

Эксплойт вызывал краш через memcpy() за пределы mapped-памяти.

Три стратегии защиты

  1. Базовый security-промпт: «Генерируй код с защитой от OWASP Top-10»
  2. Языко-специфичные правила: ChatGPT сам создаёт промпты типа «Избегай buffer overflow в C++»
  3. Self-Reflection: Модель ревьюит собственный код на уязвимости постфактум

«Вайб-кодинг» — это техдолг в чистом виде. ИИ генерирует «рабочий» код, но безопасность остаётся на совести разработчика. В российской практике, где редко внедрены статические анализаторы в CI/CD, риски особенно высоки. Совет: относитесь к ИИ-коду как к PR джуна — требуйте security-ревью. Промпты помогают, но не заменяют экспертизу. Ирония в том, что для безопасного использования ИИ нужны… более продвинутые ИИ-инструменты.

По информации Databricks.