Оглавление

Поиск в интернете переживает фундаментальную трансформацию: вместо привычных списков ссылок мы всё чаще получаем готовые ответы от генеративного ИИ. Но что именно мы приобретаем и теряем в этом переходе? Исследователи из Рурского Университета и Института Макса Планка провели масштабное сравнительное исследование, результаты которого ставят под вопрос простоту выбора между двумя подходами.

Методология сравнения

Учёные сравнили традиционный Google Search с четырьмя системами на основе генеративного ИИ: Google AI Overview (AIO), Gemini, GPT-4o-Search и GPT-4o с Search Tool. Эксперимент включал тысячи запросов по шести основным категориям: общие знания, политика, наука, покупки и другим областям.

Сравнение проводилось по трём ключевым метрикам:

  • Разнообразие источников — какие сайты использует ИИ по сравнению с традиционным поиском
  • Зависимость от знаний — насколько ИИ полагается на собственную внутреннюю память вместо поиска свежей информации
  • Концептуальное покрытие — охватывают ли ответы ИИ более широкий спектр идей

Эксперимент повторяли через два месяца, чтобы оценить стабильность результатов во времени.

Сравнительная диаграмма охвата концепций разными стратегиями поиска по запросу о неравенстве

Результаты: компромисс вместо превосходства

Как следует из опубликованной работы, ИИ действительно использует более разнообразные источники информации, но эти сайты редко оказываются в топе традиционных поисковых результатов. При этом большее количество источников не гарантирует более полного ответа.

«Различия в выборе источников и использовании внутренних знаний могут незаметно смещать перспективы и факты, с которыми сталкиваются пользователи, даже когда общее покрытие темы кажется схожим», — отмечают авторы исследования.

Ответы ИИ также оказались менее стабильными во времени — через два месяца они значительно изменились. Между разными моделями тоже обнаружились различия: GPT-4o с Search Tool чаще полагался на внутреннюю память, тогда как Google AI Overview и Gemini постоянно обращались к более широкому и свежему набору внешних сайтов.

Переход к ИИ-поиску напоминает замену конструктора готовым изделием: удобно, но теряется понимание того, как всё устроено. Пользователь получает красивый ответ, но лишается возможности самостоятельно оценить источники и выбрать наиболее авторитетный. Особенно тревожит нестабильность результатов — сегодняшний ответ завтра может оказаться совершенно другим, что подрывает саму идею поиска как надежного источника информации.

Последствия для пользователей

Исследование не даёт однозначного ответа, какой подход лучше — традиционный поиск или ИИ. Вместо этого выявляется явный компромисс: пользователи получают разнообразные суммаризированные ответы, но теряют надежные источники и стабильность традиционного поиска.

Авторы подчеркивают необходимость разработки новых стандартов и методов оценки для ИИ-ответов. Текущие метрики, разработанные для традиционного поиска, могут быть недостаточно релевантными для генеративных систем.

По материалам TechXplore.