Новое исследование компании Nous Research развенчивает миф о бюджетности open-source ИИ: открытые модели требуют в 1,5-4 раза больше вычислительных токенов для аналогичных задач по сравнению с коммерческими аналогами. Для простых запросов разрыв достигает десятикратного значения, что нивелирует их кажущуюся экономичность.
«Модели с открытыми весами используют в 1,5-4 раза больше токенов, чем закрытые (до 10 раз для простых вопросов), делая их иногда дороже на запрос, несмотря на низкую стоимость токена», — констатируют исследователи. Особенно расточительны Large Reasoning Models (LRM), которые генерируют длинные цепочки рассуждений даже для элементарных вопросов вроде «Столица Австралии?».
Реальная цена вычислений
Анализ 19 моделей выявил критическую метрику — эффективность использования токенов. Исследователи подчеркивают: «Дешевизна хостинга open-source моделей легко компенсируется их прожорливостью».
Лидеры и аутсайдеры эффективности
Среди коммерческих решений модели OpenAI (o4-mini, gpt-oss) демонстрируют рекордную эффективность, особенно в математике. Среди открытых вариантов выделяется llama-3.3-nemotron-super-49b-v1 от Nvidia, тогда как новейшие разработки Mistral показали аномально высокое потребление ресурсов.
Это исследование — холодный душ для энтузиастов open-source. Выбор модели теперь требует комплексного TCO-анализа: низкая цена токена теряет смысл при лавинообразном росте их количества. Предприятиям критически важно тестировать не только точность, но и «аппетит» моделей — особенно при использовании в high-load сценариях. Ирония в том, что самые «разумные» LRM-модели часто демонстрируют наименее разумное потребление ресурсов.
По материалам: VentureBeat
Оставить комментарий