Китайский технологический гигант Tencent представил новую языковую модель Hy3, которая, несмотря на относительно скромное число активных параметров, претендует на лидерство в сегменте решений с открытым исходным кодом. Как сообщает The Decoder, разработчики применили архитектуру Mixture-of-Experts (MoE), позволившую добиться производительности, сопоставимой с моделями, чей объем превышает Hy3 в несколько раз.

Архитектурно Hy3 представляет собой систему из 295 миллиардов общих параметров, однако благодаря механизму MoE в каждый момент времени задействуются лишь 21 миллиард активных параметров. Дополнительно используется слой MTP (Multi-Token Prediction) объемом 3,8 миллиарда параметров, что в совокупности с поддержкой контекстного окна до 256 000 токенов делает модель серьезным инструментом для обработки объемных документов и длинных диалогов.

В ходе слепого тестирования, в котором приняли участие 270 независимых экспертов, Hy3 получила оценку 2,67 из 4 баллов, опередив конкурента в лице GLM-5.1. Особое внимание инженеры Tencent уделили проблеме галлюцинаций: согласно внутренним тестам, частота ложных ответов снизилась с 12,5% до 5,4%. Это выглядит как осознанная попытка сделать ИИ более приземленным и надежным для практического применения в бизнесе.

Интеграция и доступность для сообщества

Tencent не стала ограничивать доступ к технологии и опубликовала Hy3 под лицензией Apache 2.0, что позволяет свободно использовать ее в коммерческих целях. Модель уже доступна на популярных платформах Hugging Face, ModelScope и GitHub. Для тех, кто ограничен в ресурсах оборудования, предусмотрена версия с квантованием FP8, снижающая требования к видеопамяти без критической потери точности.

Внутри самой экосистемы Tencent новинка уже нашла применение в корпоративном мессенджере WeChat, сервисе WorkBuddy и интеллектуальном помощнике Yuanbao. Даже геймеры почувствуют влияние модели: Hy3 интегрирована в ассистента для игры Path of Exile: Advent. В ближайшем будущем планируется расширение поддержки на платформы OpenRouter и Cline, что упростит жизнь разработчикам сторонних приложений.

Эффективность архитектуры MoE в Hy3 подтверждает тренд на интеллектуальную специализацию вместо грубого наращивания весов, но заявленное пятикратное превосходство над конкурентами часто разбивается о специфику реальных задач. Хотя снижение галлюцинаций до 5,4% впечатляет, закрытость методологии внутреннего тестирования оставляет место для скепсиса. Tencent создала крепкий инструмент для своей экосистемы, но для мирового доминирования модели не хватает прозрачности в данных обучения, что превращает ее в «черный ящик» с отличным маркетингом.

Для запуска такой системы в локальной среде потребуются серьезные вычислительные мощности, несмотря на оптимизацию активных параметров. Впрочем, возможность использовать модель через API или в квантованном виде частично решает проблему входа для небольших команд. Хронология релизов китайских лабораторий показывает, что соревнование в области эффективности архитектур только набирает обороты, и Hy3 здесь — лишь очередной, хоть и весьма заметный, ход.

Остается открытым вопрос, насколько хорошо модель справляется с мультиязычностью за пределами китайского и английского сегментов. Опыт подсказывает, что глубокая оптимизация под конкретные рынки часто идет в ущерб универсальности, но для профессионального сообщества Hy3 в любом случае представляет интерес как пример того, насколько далеко можно продвинуть концепцию «смеси экспертов» при наличии практически неограниченных ресурсов на обучение.