Оглавление

Когда в рамках одной ИИ-системы несколько нейросетей вынуждены передавать работу друг другу, они обычно общаются с помощью обычного текста. Первой модели приходится упаковывать свои знания в текстовые токены, а второй — расшифровывать эту последовательность, пытаясь восстановить исходный смысл. Как справедливо отмечает VentureBeat, такой традиционный подход не только приводит к потере важной информации, но и существенно увеличивает время инференса.

Группа исследователей из Университета Цинхуа и других китайских научных институтов предложила альтернативное решение под названием Cache-to-Cache (C2C). Эта методика позволяет моделям обмениваться данными напрямую через внутренние представления, хранящиеся в их key-value (KV) кэшах, минуя стадию генерации промежуточного текста. В ходе экспериментов технология C2C продемонстрировала прирост точности ответов на 3,1-5,4% и заметно снизила задержки, что делает саму архитектуру взаимодействия ИИ-моделей новой перспективной точкой оптимизации.

Почему текст стал дорогим бутылочным горлышком

Современные мультимодельные системы строятся по-разному: в агентских сетях ИИ-помощники распределяют между собой роли и обмениваются инструкциями, а в системах маршрутизации оркестратор переключает запросы между «тяжелыми» и «легкими» моделями ради экономии. Однако классический текстовый обмен порождает три серьезные проблемы. Во-первых, это неизбежная потеря данных при сжатии многомерных численных состояний нейросети в плоский текст. Во-вторых — семантическая двусмысленность, когда принимающая модель может неверно интерпретировать контекст, полученный от смежного агента.

Наконец, передача текстовых токенов обходится системе слишком дорого с точки зрения вычислительных ресурсов. Первая модель тратит время на посимвольную генерацию сообщения, а вторая вынуждена обрабатывать удлинившийся контекст. В масштабных корпоративных сценариях с глубоким контекстом и постоянными перенаправлениями запросов эти накладные расходы растут лавинообразно, превращая коммуникацию в очевидное и болезненное бутылочное горлышко.

Кэш как новая среда для коммуникации

Идея C2C заключается в том, чтобы задействовать KV-кэш, который нейросеть в любом случае создает на этапе предварительного заполнения (prefill) для кодирования извлеченного из контекста смысла. Исследователи доказали, что этот кэш можно обогащать без увеличения его физического размера, а также трансформировать из пространства представлений одной модели в пространство другой. В архитектуре C2C одна нейросеть становится «донором», а вторая — «приемником».

Специально обученный модуль слияния кэша (cache fuser) проецирует данные «донора» в систему координат «приемника», после чего они объединяются. Специальный контролирующий гейт определяет, на какие именно слои принимающей модели нужно направить эту дополнительную информацию. В результате ИИ-система получает полноценный скрытый канал связи, который работает параллельно с обычным текстом или полностью заменяет его при маршрутизации задач.

Перенос KV-кэша между разнородными архитектурами — красивый инженерный маневр, избавляющий от генерации промежуточных токенов. Однако внедрение C2C требует полного контроля над инференс-стеком, что автоматически закрывает двери для разработчиков, использующих закрытые коммерческие API. Технология выглядит многообещающе на академических бенчмарках, но ее реальная ценность подтвердится лишь тогда, когда фреймворк справится с непредсказуемым поведением моделей в промышленных нагрузках, а не в стерильных условиях лаборатории.

Результаты тестов и барьеры для внедрения

Эффективность C2C проверялась на популярных бенчмарках, включая MMLU-Redux, OpenBookQA, ARC-Challenge и C-Eval. При фиксации модели Qwen3-0.6B в качестве приемника технология C2C подняла ее среднюю точность на 9,6–11,9 процентных пункта по сравнению с изолированной работой, опередив стандартный текстовый обмен. Скорость работы при этом выросла в диапазоне от 1,51 до 14,41 раза в зависимости от пары моделей. Например, слияние кэша занимало всего около 90 миллисекунд там, где генерация текстового сообщения отнимала 1312 миллисекунд.

Методика C2C привлекательна тем, что не требует тонкой настройки (fine-tuning) самих базовых ИИ-моделей — они остаются замороженными, а обучается только промежуточный модуль слияния. Исходный код проекта и предобученные конфигурации фьюзеров авторы уже опубликовали на GitHub под лицензией Apache 2.0. Главный нюанс кроется в инфраструктуре: для работы C2C необходим прямой доступ к низкоуровневым внутренним состояниям нейросети, что делает технологию доступной только для тех команд, которые развертывают и обслуживают модели на собственных вычислительных мощностях.