Nvidia представила технологию KVTC с 20-кратным сжатием памяти для открытых LLM
Nvidia представила метод KVTC, позволяющий радикально снизить требования к видеопамяти для работы языковых моделей без изменения их весов.
NVIDIA
NVIDIA — производитель GPU для AI. Их чипы питают революцию машинного обучения. Капитализация превысила $3 триллиона.
Новости
Доминирование Nvidia на рынке обучения ИИ не гарантирует успех в эру инференса
Индустрия ИИ переходит от обучения моделей к инференсу, что ставит под угрозу монополию Nvidia и требует новых архитектурных решений.
NVIDIA адаптирует тяжелые нейросети для работы на периферийных устройствах
NVIDIA представила обновление TensorRT Edge-LLM, внедряющее поддержку архитектур MoE и гибридных моделей для запуска продвинутого ИИ на чипах Jetson и DRIVE Thor.
Эпоха аномально дешевых токенов для доступа к LLM может закончиться уже скоро
Эпоха низких цен на использование ИИ-моделей подходит к концу. Лаборатории готовятся к IPO, что заставит их отказаться от субсидирования тарифов и перейти к прибыльности.
Thinking Machines Lab совместно с Nvidia разворачивает вычислительные мощности на 1 ГВт
NVIDIA инвестирует в стартап бывших топ-менеджеров OpenAI для создания гигантского дата-центра на базе архитектуры Vera Rubin.
OpenAI получила еще $110 млрд финансирования, оценка компании выросла до $840 млрд
OpenAI завершила один из крупнейших раундов финансирования в истории технологий. Инвестиции пойдут на развитие вычислительных мощностей и партнёрство с AWS, усиливая зависимость индустрии ИИ от капиталоёмкой инфраструктуры.
