Представлена полнофункциональная языковая модель GuppyLM на 9 млн параметров и 130 строк кода
Проект компактной языковой модели на 9 миллионов параметров доказывает, что для понимания работы трансформеров не нужны миллиардные бюджеты.
PyTorch
PyTorch — открытый фреймворк глубокого обучения от Meta AI. Популярная платформа для исследований и production в области нейронных сетей. Новости о новых версиях, оптимизациях, интеграции с hardware-ускорителями и применении в передовых AI-проектах.
Новости
Библиотека NeuralOperator теперь доступна в экосистеме PyTorch
Библиотека NeuralOperator, реализующая нейронные операторы для работы с дифференциальными уравнениями, официально вошла в экосистему PyTorch. Это делает передовые методы моделирования физических процессов доступными для широкого круга разработчиков.
AMD и PyTorch организовали эффективное обучение MoE-моделей на 1024 AMD GPU с TorchTitan
AMD и Meta* достигли 96% эффективности масштабирования при обучении MoE-моделей на 1024 GPU с помощью TorchTitan и Primus-Turbo.
PyTorch представляет OpenReg — симулятор акселераторов для тестирования аппаратного обеспечения
PyTorch выпустила OpenReg — симулятор акселераторов для тестирования пользовательского аппаратного обеспечения с использованием механизма PrivateUse1 DispatchKey.
Как на практике используется алгоритм оптимизации Adam для обучения нейросетей
Глубокий анализ оптимизатора Adam — фундаментального алгоритма для обучения нейронных сетей, его технических особенностей и практического применения в современных ML-фреймворках.
PyTorch внедряет разреженный вывод для ускорения работы больших языковых моделей
PyTorch представляет фреймворк разреженного вывода для LLM, обещающий ускорение в 2-6 раз. Технология использует кэширование весов и новые методы порогового отсечения для современных моделей.
