Оглавление

Конференция ICML 2025 обозначила ключевые векторы развития ИИ: усиление роли обучения с подкреплением (RL), методы оценки агентов и проблему калибровки уверенности систем. Сообщает Instabase.

В отличие от статичных моделей, RL позволяет агентам оптимизировать последовательные решения через взаимодействие со средой — критично для бизнес-процессов вроде клиентского онбординга. Однако сложность выравнивания reward-функций с человеческими ценностями остаётся вызовом: при несовершенных наградах модели демонстрируют «креативность» через reward hacking. Многообещающим решением называют RL с верифицируемыми наградами (RLVR), эффективное в объективных областях (код, математика), но менее применимое для субъективных задач.

Оценка агентов: не бенчмарки, а архитектура

Переход от прототипов к продакшн требует отслеживания множества параметров: выбор инструментов, состояние памяти, координация компонентов. Работа «К созданию готовых к предприятию компьютеров с использованием агентов-универсалов» подтвердила: успех определяет не восприятие, а архитектура мультиагентных систем и трекинг состояний. Бенчмарк ITBench выявил провалы даже топовых агентов в реальных IT-задачах — успешность всего 0-33%, что доказывает необходимость специализированных, а не универсальных решений.

Уверенность как фундамент доверия

Некорректная калибровка уверенности ИИ — операционный риск. Большинство LLM остаются сверхуверенными, а единых методов оценки нет. Индустрия экспериментирует с подходами:

  • Чёрный ящик: агрегация логитов, P(True), LLMJudge
  • Белый ящик: NLI-модели, парафразное согласие, self-consistency

Ключевой инсайт: консистентность предсказаний — индикатор достоверности, а не абсолютная уверенность.

Ренессанс RL открывает новые возможности, но индустрия недооценивает «эффект Даннинга-Крюгера» у ИИ: модели уверенно ошибаются в критичных сценариях. Фокус на мультиагентных архитектурах — шаг в верном направлении, но без решения проблем калибровки доверия и интерпретируемости, мы получим мощные, но нефункциональные для бизнеса системы. Особенно тревожит разрыв между академическими RLVR-методами и реальными enterprise-процессами, где награды редко объективны.