AWS Trainium

Новости

Метод спекулятивного декодирования на чипах AWS Trainium позволяет сократить задержку генерации текста до 15 мс для структурированных задач.