Оглавление

По сообщению The Decoder, OpenAI запустила GDPval — новый стандарт для оценки производительности ИИ в реальных знаниях. Бенчмарк охватывает 44 профессии из девяти ключевых отраслей экономики, каждая из которых составляет более 5% ВВП США.

Реальные задачи вместо абстрактных тестов

В отличие от традиционных бенчмарков, GDPval использует сложные профессиональные задания с реальными требованиями и материалами. Например, инженер-механик может получить задание спроектировать испытательный стенд для кабельной системы, предоставить 3D-модель и подготовить презентацию PowerPoint на основе технических спецификаций.

График сравнения производительности бенчмарка GDPval от OpenAI

Каждое решение оценивается отраслевыми экспертами в слепых тестах, где сравниваются результаты ИИ и человеческие эталоны. Оценки выставляются по шкале: «лучше», «так же хорошо» или «хуже».

Формат имеет значение

Обновление от 27 сентября показывает интересную закономерность: результаты ИИ-моделей сильно зависят от формата файлов. В текстовых задачах модели показывают самые низкие показатели: Claude Opus 4.1 — всего 14%, GPT-5 — 22%.

Результаты бенчмарка GDPval в разбивке по форматам файлов

Ситуация кардинально меняется для других форматов:

  • Для PDF Claude показывает 46% побед
  • Для Excel-файлов (xlsx) — 45%
  • Для презентаций PowerPoint (pptx) — 48%
  • В категории «другие» форматы — достигает 50%, сравниваясь с профессионалами

GPT-5 демонстрирует аналогичную тенденцию: его результаты для структурированных или визуальных форматов значительно выше, чем для «чистого текста».

Оказывается, что ИИ преуспевает именно там, где человеческие слабости наиболее выражены — в любви к красивой упаковке. Пока модели учатся обманывать экспертов через эстетику оформления, а не через суть содержания. Это напоминает студента, который сдает блестяще оформленную, но пустую работу — и получает высший балл.

Лидирующие модели приближаются к экспертам

Ранние результаты показывают, что топовые модели вроде GPT-5 и Claude Opus 4.1 близки к экспертному уровню. Примерно в половине из 220 опубликованных задач эксперты оценили работу ИИ как равную или лучшую по сравнению с человеческим эталоном.

Визуализация влияния искусственного интеллекта на рабочие места специалистов

OpenAI также отмечает значительный рост эффективности. Модели завершали задачи примерно в 100 раз быстрее и в 100 раз дешевле, если считать только время инференса и стоимость API.

Ограничения и перспективы

Текущая версия GDPval ограничена «одноразовыми» задачами без обратной связи, построения контекста или итераций. Задания не включают реальную неопределенность, которая возникает при неясных требованиях или общении с коллегами и клиентами.

OpenAI подчеркивает, что современные модели ИИ не заменяют целые профессии. Они лучше всего справляются с автоматизацией повторяющихся, четко структурированных задач. Тестовый набор также довольно ограничен — всего около 30 заданий на профессию.

Будущие версии GDPval будут приближаться к реальным рабочим условиям с более интерактивными задачами и встроенной неопределенностью. Долгосрочная цель — систематически отслеживать экономическое влияние ИИ и его изменение на рынке труда.