Оглавление

Компания Google представила обновленные вспомогательные модели для своего семейства открытых алгоритмов Gemma 4, которые позволяют увеличить скорость генерации текста до трех раз. Технология, получившая название multi-token prediction (MTP), призвана устранить архитектурное «бутылочное горлышко», ограничивающее производительность современных языковых моделей.

Как сообщает The Decoder, стандартный процесс работы LLM подразумевает последовательную генерацию: один шаг — один токен. При каждом таком шаге системе приходится загружать миллиарды параметров из памяти, что заставляет вычислительные ядра процессоров проводить значительную часть времени в режиме ожидания данных.

Механика параллельного предсказания

Суть инновации MTP заключается в использовании компактной вспомогательной модели, которая работает параллельно с основной. Пока тяжеловесный алгоритм ожидает загрузки данных, «черновик» (drafter) использует свободные ресурсы для предложения сразу нескольких последующих токенов. Если основная модель подтверждает правильность этих догадок в рамках одного прохода, они принимаются мгновенно.

Подобный подход напоминает работу опытного редактора, который предугадывает окончание фразы автора еще до того, как тот ее допишет. По утверждению Google, это не только сокращает общее время работы, но и сохраняет исходное качество текста, так как финальное слово всегда остается за основной полноразмерной моделью Gemma 4.

Развертывание новых инструментов выглядит следующим образом:

  • Разработчики загружают вспомогательные MTP-модели с платформ Hugging Face или Kaggle.
  • Интеграция возможна как в облачные сервисы, так и в локальные приложения для смартфонов или ПК.
  • Лицензия Apache 2.0 позволяет использовать данные наработки в коммерческих проектах без жестких ограничений.

Google эффектно продает нам утилизацию «простоя» процессора, но это лишь маскировка фундаментальной неэффективности текущих LLM. Пока мы радуемся трехкратному росту на смартфонах, стоит помнить: мы все еще тратим колоссальную энергию на проверку догадок маленькой модели, вместо того чтобы создать одну по-настоящему умную. Скорость выросла, но архитектурный тупик никуда не делся.

Доступность и рыночный контекст

Примечательно, что Gemma 4 была представлена в начале апреля и уже успела набрать более 60 миллионов загрузок. Столь высокий интерес объясняется открытостью весов модели, что дает разработчикам гибкость, недоступную в закрытых экосистемах вроде GPT-4 от OpenAI. Теперь, с добавлением MTP, Google пытается сделать свои открытые решения конкурентоспособными не только по качеству ответов, но и по операционной эффективности.

Технология доступна для различных сценариев использования. Владельцы локальных машин и разработчики мобильного ПО получают возможность запускать достаточно сложные модели без фатальных задержек в интерфейсе, что критично для пользовательского опыта в эпоху «ИИ на устройствах».

Несмотря на техническое изящество решения, оно подчеркивает интересную деталь: индустрия достигла момента, когда программные ухищрения становятся важнее «грубой силы» железа. Впрочем, остается открытым вопрос, насколько стабильно эта связка моделей будет вести себя в специфических узкопрофильных задачах, где предсказуемость токенов значительно ниже, чем в бытовой переписке.