Оглавление

Разработчики из OpenAI официально пересмотрели свое отношение к популярному набору тестов для оценки кодинговых способностей нейросетей. Как сообщает The Decoder, детальный аудит SWE-Bench Pro выявил, что примерно 30% заданий в этом бенчмарке содержат серьезные изъяны, которые мешают объективно оценивать возможности моделей.

Ситуация выглядит иронично: тесты, призванные проверять профессионализм искусственного интеллекта в разработке программного обеспечения, сами оказались «багнутыми». Проблема в том, что задачи брались напрямую из репозиториев реальных проектов, где требования часто бывают слишком специфичными, избыточно жесткими или попросту плохо сформулированными для внешнего наблюдателя, не знакомого с контекстом конкретного коммита.

Методология проверки и классификация ошибок

Для анализа качества SWE-Bench Pro команда OpenAI применила комбинированный подход. Сначала автоматизированный фильтр отобрал 286 подозрительных задач, которые затем детально изучались агентами на базе Codex. Финальное слово оставалось за человеком-исследователем, который подтвердил дефекты в 200 случаях (27,4%). Примечательно, что параллельная проверка пятью опытными разработчиками оказалась еще более суровой, забраковав 34,1% заданий.

Специалисты выделили четыре основные категории проблем, превращающих тестирование в лотерею:

  • Избыточная строгость: система отклоняет корректный код из-за несоответствия второстепенным деталям (например, количеству пробелов).
  • Неопределенность: описание задачи не содержит всех условий, необходимых для успешного прохождения скрытых тестов.
  • Поверхностность: тест засчитывает решение как верное, даже если оно исправляет проблему лишь частично.
  • Ошибочные указания: формулировка задачи прямо противоречит тому, что ожидает проверочный скрипт.

В одном из примеров, связанных с проектом OpenLibrary, описание требовало использовать один пробел, в то время как скрытый тест ожидал два. Модель, идеально выполнившая инструкцию, неизбежно получала отказ. Это ставит под сомнение адекватность всей гонки за процентами точности на подобных наборах данных.

Кризис доверия к существующим метрикам

Ранее OpenAI уже отказывалась от предыдущей версии — SWE-bench Verified — по схожим причинам. Однако теперь компания не предлагает готовую альтернативу, а лишь призывает индустрию создавать более прозрачные и устойчивые к манипуляциям инструменты оценки. На фоне этого аналитическая компания Artificial Analysis уже исключила SWE-Bench Pro из своего рейтинга, заменив его на DeepSWE от Datacurve.

Попытка автоматизировать оценку сложных инженерных навыков через вырванные из контекста GitHub-задачи предсказуемо зашла в тупик. Мы видим, как модели учатся не программировать, а угадывать скрытые зависимости или просто воспроизводить паттерны из истории коммитов. Это классический случай «закона Гудхарта»: когда метрика становится целью, она перестает быть хорошей метрикой, превращая лидерборды в соревнование по оверфиттингу.

Смена бенчмарка мгновенно перетасовала таблицу лидеров. Например, Codex с моделью GPT-5.5 (xhigh), набравшая на спорном тесте всего 31 балл, в новом рейтинге поднялась до 76, обойдя Claude Code с Opus 4.8. Первое же место заняла Claude Code с Fable 5, набрав 77 баллов. Такие резкие скачки лишь подчеркивают, насколько сильно наше представление о «самом умном ИИ» зависит от качества и чистоты проверочного стенда.

Для профессионального сообщества этот инцидент служит важным напоминанием: цифры в отчетах лабораторий — это лишь отражение конкретного набора тестов. Пока индустрия не выработает стандарты, исключающие влияние случайных пробелов и «подсмотренных» решений, любые заявления о превосходстве одной модели над другой стоит воспринимать с долей здорового скепсиса.