PyTorch ускоряет вывод модели DRAMA в 2.3 раза с помощью NJT
PyTorch представил Nested Jagged Tensors, ускоряющие вывод модели DRAMA в 2.3 раза за счет исключения вычислений на pad-токенах.
PyTorch
PyTorch — открытый фреймворк глубокого обучения от Meta AI. Популярная платформа для исследований и production в области нейронных сетей. Новости о новых версиях, оптимизациях, интеграции с hardware-ускорителями и применении в передовых AI-проектах.
Новости
DeepSpeed ZenFlow устраняет простои GPU при обучении больших языковых моделей
DeepSpeed ZenFlow решает проблему простоя GPU при оффлоадинге, обеспечивая до 5x ускорение обучения больших языковых моделей без потери точности.
Hugging Face представляет PTS: новый инструмент для эффективного обучения языковых моделей
Hugging Face выпустила PTS — унифицированный фреймворк для параметр-эффективного обучения языковых моделей, который стандартизирует процесс тонкой настройки и ускоряет эксперименты.
Hugging Face представила инструмент для автоматизации сборки ядер ML-библиотек
Hugging Face представила инструмент для автоматизации сборки низкоуровневых ядер ML-библиотек, упрощающий оптимизацию кода под различные аппаратные архитектуры.
Hugging Face перечиляет пять методов снижения затрат на корпоративный ИИ
Hugging Face представила пять практических методов снижения затрат на эксплуатацию AI-моделей в enterprise-среде без потери производительности.
Оптимизация Triton ускоряет матричные вычисления для моделей Mixture-of-Experts
Новое ядро Triton для Grouped GEMM ускоряет обучение MoE-моделей в 2.62 раза на NVIDIA H100 за счет persistent kernel, cache-aware вычислений и TMA.
