vLLM

Новости

Intel Inference Microservices

Intel упрощает развертывание ИИ с помощью микросервисов для процессоров Xeon

Intel анонсировала микросервисы, которые автоматически настраивают инференс больших языковых моделей под конкретное поколение процессоров Xeon через стандартный API.