Оглавление

Современные автономные агенты на базе больших языковых моделей редко ошибаются из-за нехватки данных в сети. Исследование, проведенное командами Tencent Hunyuan и Университета Цинхуа, показало, что камнем преткновения становится неспособность систем распознавать неоднозначность в запросах и вовремя задавать уточняющие вопросы пользователю. Как пишет The Decoder, избыточный поиск информации без понимания контекста зачастую дает худший результат, чем простое угадывание.

Для проверки этой гипотезы ученые разработали бенчмарк DiscoBench. В отличие от существующих тестов, которые предполагают, что пользователь формулирует задачу идеально, новый фреймворк имитирует реальные условия: размытые, неполные или фактически неверные запросы. В длинных цепочках рассуждений любая неразрешенная двусмысленность на раннем этапе превращается в снежный ком, уводящий агента далеко в сторону от нужного ответа.

Анатомия неопределенности в поиске

Исследователи выделили четыре типа амбивалентности, с которыми сталкиваются алгоритмы: совпадение описания с несколькими объектами, привязка к разным временным периодам, размытость критериев оценки и прямые фактические ошибки в запросе. Тестовый набор включает 211 задач из одиннадцати областей знаний — от видеоигр до фундаментальной науки. На каждом этапе у модели есть выбор: продолжить поиск, запросить уточнение или выдать финальный ответ.

В ходе тестирования одиннадцати ведущих моделей, включая GPT 5.4, Claude Opus 4.7 и Gemini 3.1 Pro, выяснилось, что даже флагманские решения редко преодолевают порог в 50% точности. Без явных указаний на возможную двусмысленность лучший результат показала модель Doubao Seed 2.0 Pro — всего 43,1%. Это наглядно демонстрирует: умение эффективно использовать поисковые инструменты не гарантирует верного результата, если агент не понимает, что именно он ищет.

Проблема современных поисковых агентов кроется в их архитектурной «вежливости»: они стремятся дать ответ любой ценой, игнорируя критическую неопределенность ввода. Пока модели не научатся инициировать диалог вместо бесконечного перебора веб-страниц, мы будем получать академически безупречные ответы на вопросы, которые никто не задавал. Эффективность здесь уступает место имитации деятельности.

Парадокс избыточного поиска

Анализ поведения агентов выявил любопытную закономерность. Модели, которые сначала ищут информацию, а затем запрашивают уточнение у пользователя, достигают успеха в 93,4% случаев. Однако те, кто продолжает искать, осознавая наличие проблемы, но пытаясь «угадать» верный путь, показывают результат в районе 51,9%. Это даже хуже, чем прямое угадывание без дополнительных итераций поиска.

  • Распознавание ошибок: Проще всего моделям дается обнаружение фактических неточностей в запросе, так как они создают явные противоречия с найденной информацией.
  • Проблема выбора: Труднее всего ИИ справляется с ситуациями, когда под описание подходят несколько равнозначных сущностей или версий продукта.
  • Качество вопросов: Умение заметить проблему не всегда означает умение задать правильный вопрос; часто модели формулируют уточнения, которые не приближают их к решению.

Результаты DiscoBench подтверждают, что поисковые возможности сами по себе достигли плато. Дальнейшее развитие систем требует внедрения стратегий активного взаимодействия. Например, Anthropic в последних обновлениях уже пытается научить свои модели чаще сигнализировать о неуверенности. Без этого даже самые мощные вычислительные ресурсы будут тратиться на генерацию убедительных, но бесполезных галлюцинаций, основанных на неверно интерпретированных вводных данных.