Оглавление

Компания Nvidia представила компактный компьютер Jetson Orin Nano, который позволяет запускать крупные языковые модели прямо на рабочем столе без подключения к облачным сервисам. Устройство размером с кредитную карту оснащено процессором ARM и графическим ускорителем с 1024 ядрами CUDA.

Технические характеристики

Новый девайс построен на архитектуре Ampere и предлагает производительность до 40 TOPS (триллионов операций в секунду) для задач искусственного интеллекта. Это делает его способным локально обрабатывать модели размером до 7 миллиардов параметров.

Ключевые особенности Jetson Orin Nano:

  • Процессор ARM Cortex-A78AE
  • 1024 ядра CUDA
  • 32 тензорных ядра
  • 8 ГБ оперативной памяти LPDDR5
  • Поддержка PCIe 4.0
  • Несколько портов USB и Ethernet

Практическое применение

Устройство предназначено для разработчиков, исследователей и компаний, которые хотят создавать и тестировать AI-приложения без зависимости от облачных провайдеров. Это особенно актуально для проектов, требующих низкой задержки или работающих с конфиденциальными данными.

Интересно наблюдать, как Nvidia пытается демократизировать доступ к AI-вычислениям, одновременно создавая новый рынок для своих продуктов. С одной стороны, это шаг к децентрализации AI, с другой — очевидная попытка закрепиться на уровне edge-устройств. Цена в $499 выглядит разумной для профессионального использования, но для массового потребителя все еще высока. Любопытно, сколько разработчиков действительно перейдут с облачных решений на локальные вычисления, учитывая удобство масштабирования в облаке.

Рыночный контекст

Nvidia традиционно доминирует на рынке серверных GPU для AI, но теперь компания активно расширяет присутствие в сегменте edge-вычислений. Конкуренцию составляют решения от Intel, AMD и специализированные чипы от Google и Amazon.

По словам представителей Nvidia, устройство уже доступно для предзаказа и начнет поставляться в конце октября. Компания также предоставляет полный стек программного обеспечения, включая JetPack SDK с поддержкой популярных фреймворков машинного обучения.

Сообщает Ars Technica.