Математика MoE-моделей раскрыта: что на самом деле означает 8x7B
Подробный разбор математики MoE-моделей: от расчета памяти до вычислительной сложности. Почему 8x7B на самом деле означает 13B активных параметров.
LLM
Последние новости о больших языковых моделях (LLM): GPT, Claude, Gemini, LLaMA и другие. Обзоры новых релизов, сравнения моделей, анализ возможностей и ограничений современных LLM. Следите за развитием технологий искусственного интеллекта в области обработки естественного языка. Практические кейсы применения, туториалы и экспертные мнения.
Джек Кларк из Anthropic сравнил прорывы в ИИ с самосознанием молотков
Сооснователь Anthropic сравнил развитие ИИ с самосознанием молотков, подчеркивая непредсказуемость эмерджентных способностей и необходимость серьезного отношения к технологии.
Hugging Face выпускает эффективные модели Ring с гибридной линейной архитектурой
Hugging Face выпустила две эффективные модели с гибридной линейной архитектурой, сокращающие затраты на инференс в 10 раз по сравнению с плотными моделями.
Как расшифровываетс аббревиатура GPT в ChatGPT и что это значит
Разбираем, что означает каждая буква в аббревиатуре GPT и почему эта технология стала основой современных языковых моделей ИИ.
Китайские исследователи научили LLM обмениваться смыслами через внутреннюю память
Новый метод C2C позволяет языковым моделям обмениваться внутренней памятью вместо текста, повышая скорость взаимодействия в 2 раза и точность на 8-10%.
Together AI представила самообучающуюся систему для ускорения языковых моделей
Together AI представила ATLAS — первую самообучающуюся систему спекулятивного декодирования, которая автоматически улучшает производительность LLM во время работы.
