Компания OpenAI представила функцию Record & Replay для своего приложения Codex на macOS, которая позволяет ИИ-агенту обучаться новым навыкам, просто наблюдая за действиями человека. Как сообщает издание The Decoder, система способна зафиксировать последовательность шагов в рабочем процессе и трансформировать их в автономно исполняемый алгоритм.

Механика работы достаточно прямолинейна: пользователь один раз проходит через цепочку действий, например, загружает видео на YouTube, заполняя метаданные, добавляя обложку и субтитры. Codex фиксирует эти манипуляции и создает многоразовый «навык», который впоследствии может применять самостоятельно без вмешательства оператора.

Для активации этой возможности в настройках приложения должен быть включен режим Computer Use, позволяющий нейросети управлять интерфейсом операционной системы. Стоит отметить, что на текущий момент функция Record & Replay недоступна для пользователей в Евросоюзе, Великобритании и Швейцарии, несмотря на то, что базовый доступ к Computer Use в Европе открыт с середины июня.

Новые инструменты автоматизации и удаленное управление

Обновление версии 26.616 принесло не только визуальное обучение, но и ряд инфраструктурных улучшений для профессионального использования. В частности, в истории автоматизаций появились массовые действия, что значительно упрощает менеджмент большого количества накопленных сценариев и задач.

Разработчики также реализовали возможность передачи активных потоков (threads) между локальным хостом и удаленной машиной. Это позволяет начать выполнение сложной задачи на рабочем ноутбуке и бесшовно перенести ее на более мощный сервер или другой подключенный компьютер для завершения процесса.

С технической точки зрения Codex позиционируется как специализированный агент для написания кода и автоматизации офисной работы. Хотя само приложение доступно для загрузки бесплатно, полноценная эксплуатация его возможностей требует наличия платной подписки на ChatGPT, что создает определенный порог входа для индивидуальных пользователей.

Переход от написания скриптов к визуальному обучению — это важный шаг, но зависимость от проприетарной среды и платных подписок ограничивает гибкость. Реальная ценность Record & Replay проявится лишь тогда, когда ИИ научится обрабатывать ошибки интерфейса, а не просто слепо кликать по координатам. Пока это выглядит как продвинутый макрос с зачатками интеллекта, требующий тщательного надзора.

Внедрение подобных инструментов меняет привычный подход к рутинным операциям. Вместо того чтобы описывать алгоритм словами в промпте, человек показывает результат. Это сокращает время на объяснение контекста, хотя и накладывает на пользователя ответственность за чистоту «эталонного» исполнения задачи, которую ИИ будет копировать в будущем.

Интеграция ИИ-агентов непосредственно в операционную систему через механизмы захвата экрана и управления курсором остается одним из самых амбициозных направлений OpenAI. Очевидно, что компания стремится превратить Codex из простого помощника в полноценного цифрового сотрудника, способного осваивать софт так же, как это делает стажер.