SuperOffload ускоряет обучение больших языковых моделей на суперчипах NVIDIA
Новая технология SuperOffload позволяет проводить тонкую настройку LLM до 70B параметров на суперчипах NVIDIA GH200 с ускорением до 4 раз и производительностью 600 TFLOPS.
PyTorch
PyTorch — открытый фреймворк глубокого обучения от Meta AI. Популярная платформа для исследований и production в области нейронных сетей. Новости о новых версиях, оптимизациях, интеграции с hardware-ускорителями и применении в передовых AI-проектах.
Новости
PyTorch представил квантованные модели и рецепты для Hugging Face Hub
PyTorch выпустил предварительно квантованные версии популярных языковых моделей с рецептами оптимизации для серверных GPU и мобильных устройств.
Миграция с PyTorch на JAX для GPU: стратегии внедрения в корпоративном машинном обучении
Практическое руководство по миграции с PyTorch на JAX для GPU-ускоренного машинного обучения: сравнение фреймворков, оптимизации памяти и стратегии масштабирования.
Методы оптимизации времени компиляции PyTorch 2 для крупных моделей Meta*
Meta* делится методами сокращения времени компиляции PyTorch 2.0 для крупных моделей рекомендательных систем, где компиляция могла занимать более часа.
PyTorch 2.8 повышает производительность LLM на процессорах Intel без сторонних фреймворков
PyTorch 2.8 представляет нативную поддержку высокопроизводительного квантованного вывода LLM на CPU Intel, конкурируя с vLLM без сторонних фреймворков.
Hugging Face представил технологию ZeroGPU для экономии ресурсов при работе с ИИ
Hugging Face анонсировал ZeroGPU — технологию для эффективного использования графических процессоров в машинном обучении, что может снизить costs вычислений.
