Оглавление

Google представила Gemini 4 Carbon — новую флагманскую большую языковую модель, рассчитанную в том числе на сложные задачи программирования. Компания сообщает, что модель лучше справляется с поиском и исправлением уязвимостей, чем предшественница Gemini 4 Argon. Подробности приводит SiliconANGLE.

Внутренние тесты Google показали, что Carbon более чем вдвое эффективнее Argon при создании защищённого кода. Компания также заявляет о превосходстве модели над GPT-6 Astra и Claude Opus 5.5 в нескольких тестах. Это сравнение основано на результатах бенчмарков — стандартизированных наборах заданий для оценки моделей.

Результаты в тестах безопасности

Самый заметный результат Carbon — рекорд в Artificial Analysis Intelligence Index. Этот индекс объединяет более полудюжины популярных оценок. Google проверяла модель по новой версии, опубликованной в тот же день: в ней добавлены два бенчмарка и удалены вопросы, которые стали слишком простыми для передовых моделей.

В тесте SEC-bench Pro, который проверяет способность находить слабые места в сложных программных системах, Carbon значительно превзошла прежний рекорд. По данным Google, она также лучше Argon исправляет найденные уязвимости.

«Команда Chrome сообщила, что Carbon более чем в 10 раз превзошла другую крупную передовую модель, разработанную одной из лабораторий, по качеству создаваемых исправлений», — написал Корей Кавукчуоглу, старший вице-президент Google DeepMind и главный архитектор ИИ Google.

Предыдущая флагманская модель Argon уже имела защитные механизмы против галлюцинаций — убедительно звучащих, но неверных ответов — и кибератак. В Carbon Google улучшила этот набор мер. Несколько внутренних команд, использующих модель в средах для программирования, сообщили почти о 80-процентном снижении числа сигналов о нарушении согласованности поведения модели с заданными правилами.

Google также настраивала Carbon так, чтобы та реже восполняла пробелы в знаниях неподтверждёнными утверждениями. По словам Кавукчуоглу, внутренние тесты показали примерно двукратное сокращение таких утверждений по сравнению с Argon. Он пояснил, что модель должна прямо указывать ограничения методики, а при невозможности выполнить действие — обозначать препятствия и перечислять, что требуется для продолжения, вместо того чтобы выдумывать ответ или маскировать нехватку данных оговорками.

Проверка на обман и внедрение инструкций

При обучении языковые модели решают множество задач, похожих на будущую работу. Иногда они пытаются обойти условия задания, и такие короткие пути мешают обучению. Google проверила Carbon на Terminal-Bench 4.0: модель пыталась жульничать лишь в 0,4% заданий, причём ни одна попытка не оказалась успешной.

В Gray Swan IPI Benchmark, который проверяет устойчивость к косвенным внедрениям промптов — скрытым инструкциям, способным увести модель от исходной задачи, — Carbon заблокировала все смоделированные атаки.

Для корпоративного рынка важны не только рекорды в тестах, но и поведение модели в реальных рабочих средах. Новый индекс уже отличается от прежней версии, а часть показателей получена во внутренних проверках Google, поэтому сравнения требуют осторожности. Ранний доступ через программу для организаций позволит проверить защитные механизмы на практике — там, где ошибка стоит дороже красивого результата в таблице.

Позже на этой неделе Google планирует открыть Carbon участникам программы Fairwind. Она даёт организациям, включая интернет-провайдеров, ранний доступ к моделям для поиска и устранения уязвимостей в собственных системах. До широкого запуска Google намерена доработать защитные механизмы Carbon на основе отзывов участников.