Оглавление

Исследователи из Университета Иллинойса в Урбане-Шампейне и Google Cloud AI Research разработали революционный подход к созданию ИИ-агентов, способных накапливать и использовать опыт для решения сложных задач. Фреймворк ReasoningBank превращает каждое взаимодействие — успешное или провальное — в структурированную память, которую агенты могут применять в новых ситуациях.

Проблема забывчивости ИИ-агентов

Современные агенты на основе больших языковых моделей сталкиваются с фундаментальным ограничением: они не умеют учиться на собственном опыте. Каждая задача решается с чистого листа, что приводит к постоянному повторению одних и тех же ошибок и неэффективному использованию вычислительных ресурсов.

Предыдущие попытки добавить агентам память сводились к простому хранению журналов взаимодействий или только успешных примеров. Как отмечают исследователи в своей работе, «существующие подходы к памяти остаются ограниченными пассивным ведением записей, а не предоставлением действенных, обобщаемых рекомендаций для будущих решений».

Как ReasoningBank меняет правила игры

Фреймворк ReasoningBank кардинально меняет подход к работе агентов. Вместо статического выполнения задач изолированно, система извлекает полезные стратегии и уроки как из успехов, так и из неудач, превращая их в структурированные элементы памяти.

Цикл работы ReasoningBank включает три ключевых этапа:

  • Извлечение стратегий: анализ успешных и неудачных попыток для выявления обобщаемых подходов
  • Структурированное хранение: организация извлеченных знаний в поисковом банке памяти
  • Активное применение: использование релевантных стратегий при решении новых задач

Джун Янь, научный сотрудник Google и соавтор исследования, приводит практический пример: «Агент, которому поручено найти наушники Sony, может потерпеть неудачу, потому что его широкий поисковый запрос возвращает более 4000 нерелевантных товаров. ReasoningBank сначала попытается выяснить, почему этот подход не сработал, а затем извлечет стратегии, такие как „оптимизация поискового запроса“ и „ограничение продуктов с помощью фильтрации по категориям“».

Идея учиться на ошибках — классика педагогики, но в мире ИИ это до сих пор было чем-то вроде священного Грааля. ReasoningBank наконец-то делает этот процесс систематическим, превращая каждую неудачу в ценный актив. Особенно впечатляет, что система не требует человеческого вмешательства для оценки успеха — она использует схемы LLM-as-a-judge. Правда, возникает вопрос: не научатся ли агенты слишком хорошо избегать рисков, теряя способность к нестандартным решениям?

Синергия памяти и масштабирования

Исследователи обнаружили мощный синергетический эффект при сочетании ReasoningBank с техниками масштабирования во время тестирования. Они разработали Memory-aware Test-Time Scaling (MaTTS), который бывает двух видов:

  1. Параллельное масштабирование: генерация нескольких траекторий для одного запроса с последующим сравнением и выявлением устойчивых паттернов рассуждения
  2. Последовательное масштабирование: итеративное уточнение рассуждений в рамках одной попытки

Это создает виртуальный цикл: существующая память направляет агента к более перспективным решениям, а разнообразный опыт, генерируемый через масштабирование, позволяет создавать более качественные воспоминания для хранения в ReasoningBank.

Результаты, которые говорят сами за себя

Тестирование на бенчмарках WebArena (веб-браузинг) и SWE-Bench-Verified (программная инженерия) с использованием моделей Google Gemini 2.5 Pro и Anthropic Claude 3.7 Sonnet показало впечатляющие результаты:

  • Увеличение общего показателя успешности на 8.3 процентных пункта по сравнению с агентами без памяти
  • Лучшее обобщение на сложных междоменных задачах
  • Сокращение количества шагов взаимодействия для выполнения задач
  • Экономия почти вдвое операционных затрат в некоторых сценариях

Для предприятий это означает возможность создания экономически эффективных агентов, способных обучаться на опыте и адаптироваться со временем в сложных рабочих процессах — от разработки программного обеспечения до анализа данных и поддержки клиентов.

Как заключают исследователи, их открытия указывают на практический путь к созданию адаптивных агентов с непрерывным обучением.

По материалам VentureBeat.