KV-кэш

Новости

Разработчик LMCache запускает платформу для оптимизации инференса через кэширование данных

Tensormesh представила платформу для оптимизации инференса LLM через интеллектуальное управление KV-кэшем, снижая нагрузку на GPU и уменьшая задержки.

Google представила алгоритм TurboQuant, сокращающий объем KV-кэша без потери точности

Исследователи Google разработали TurboQuant — новый алгоритм квантования, который радикально сокращает объем KV-кэша и ускоряет работу языковых моделей.