PyTorch представил квантованные модели и рецепты для Hugging Face Hub
PyTorch выпустил предварительно квантованные версии популярных языковых моделей с рецептами оптимизации для серверных GPU и мобильных устройств.
PyTorch
PyTorch — открытый фреймворк глубокого обучения от Meta AI. Популярная платформа для исследований и production в области нейронных сетей. Новости о новых версиях, оптимизациях, интеграции с hardware-ускорителями и применении в передовых AI-проектах.
Новости
Миграция с PyTorch на JAX для GPU: стратегии внедрения в корпоративном машинном обучении
Практическое руководство по миграции с PyTorch на JAX для GPU-ускоренного машинного обучения: сравнение фреймворков, оптимизации памяти и стратегии масштабирования.
Методы оптимизации времени компиляции PyTorch 2 для крупных моделей Meta*
Meta* делится методами сокращения времени компиляции PyTorch 2.0 для крупных моделей рекомендательных систем, где компиляция могла занимать более часа.
PyTorch 2.8 повышает производительность LLM на процессорах Intel без сторонних фреймворков
PyTorch 2.8 представляет нативную поддержку высокопроизводительного квантованного вывода LLM на CPU Intel, конкурируя с vLLM без сторонних фреймворков.
Hugging Face представил технологию ZeroGPU для экономии ресурсов при работе с ИИ
Hugging Face анонсировал ZeroGPU — технологию для эффективного использования графических процессоров в машинном обучении, что может снизить costs вычислений.
PyTorch ускоряет вывод модели DRAMA в 2.3 раза с помощью NJT
PyTorch представил Nested Jagged Tensors, ускоряющие вывод модели DRAMA в 2.3 раза за счет исключения вычислений на pad-токенах.
