Google Cloud снижает стоимость ИИ-инференса на 35% через внешний KV Cache
Google Cloud Managed Lustre позволяет снизить стоимость AI-инференса на 35% через вынос KV Cache во внешнее хранилище, сократив потребность в GPU на 43%.
Железо
Новости о технике и железе для искусственного интеллекта. GPU, TPU, специализированные AI-чипы от NVIDIA, AMD, Intel. Облачные платформы для ML, обзоры программного обеспечения, фреймворков и инструментов разработки. Аппаратное обеспечение для обучения и инференса нейросетей. Сравнения производительности и рекомендации по выбору.
Рост цен на электроэнергию угрожает развитию ИИ и дата-центров
80% потребителей опасаются роста счетов за электричество из-за увеличения спроса со стороны дата-центров ИИ. Энергопотребление центров обработки данных может вырасти до 12% к 2028 году.
Южная Корея разворачивает национальную ИИ-инфраструктуру с 250 тысячами GPU NVIDIA
Южная Корея запускает национальную программу суверенного ИИ с развертыванием более 250 тысяч GPU NVIDIA при участии Samsung, Hyundai, SK Group и других промышленных гигантов.
NVIDIA открывает исходный код платформы Aerial для создания AI-нативных сетей 5G и 6G
NVIDIA открывает исходный код платформы Aerial для ускорения разработки AI-нативных сетей 5G и 6G, предоставляя исследователям инструменты для быстрого прототипирования.
Google Cloud запускает тренировки моделей в Vertex AI с ускорением A4X Max
Google Cloud запустила аппаратные ускорения A4X Max для тренировки ИИ-моделей в Vertex AI, что усиливает конкуренцию в облачном машинном обучении.
Европейские компании пересматривают подходы к ИИ-инфраструктуре
Европейские компании переходят от облачной стратегии к созданию устойчивой AI-инфраструктуры с акцентом на суверенитет данных и модульную архитектуру.
