MoE

Компания Tencent выпустила открытую модель Hy3, использующую архитектуру Mixture-of-Experts. При 21 млрд активных параметров она конкурирует с гораздо более крупными системами.

Подробный разбор математики MoE-моделей: от расчета памяти до вычислительной сложности. Почему 8x7B на самом деле означает 13B активных параметров.

Модели Mixture-of-Experts обещают эффективность, но сталкиваются с аппаратными ограничениями. Анализ проблем масштабирования и альтернативных решений от Cerebras.