Amazon SageMaker внедряет маршрутизацию с учетом префиксов для ускорения LLM
Новая стратегия маршрутизации в Amazon SageMaker позволяет направлять запросы с одинаковыми префиксами на одни и те же инстансы, значительно повышая эффективность кэширования.