Оглавление

Исследователи Google разработали новый метод декодирования SLED, который использует информацию со всех слоев языковой модели вместо только последнего. Этот подход позволяет значительно снизить количество фактических ошибок без необходимости дополнительного обучения или внешних данных.

Как работает SLED

Традиционные языковые модели генерируют текст, используя только логиты (предсказательные оценки) финального слоя. SLED кардинально меняет этот подход, применяя финальную проекционную матрицу архитектуры Transformer к логитам всех промежуточных слоев.

Технология создает взвешенное среднее распределений вероятностей из всех слоев модели, придавая больше веса определенным слоям. Это позволяет улавливать нюансы, которые теряются при использовании только последнего слоя.

Практический пример

В демонстрационном примере модель спрашивают: «Какая столица Британской Колумбии?». Стандартное декодирование выбирает более популярный вариант «Ванкувер», в то время как SLED корректно определяет правильный ответ «Виктория».

Другой пример показывает решение математической задачи со скидкой: «Эш покупает 6 игрушек по 10 токенов каждая. При покупке четырех и более действует скидка 10%. Сколько заплатит Эш?». Обычная модель ошибочно вычисляет 6 × 10 = 60, пропуская скидку. SLED же корректно определяет последовательность 6 × 10 × 0.9 = 54.

Метод SLED — это элегантное решение проблемы, которая годами мучает разработчиков языковых моделей. Вместо сложных систем дообучения или внешних баз знаний, исследователи предлагают просто лучше использовать то, что уже есть внутри модели. Ирония в том, что мы годами игнорировали богатство информации в промежуточных слоях, предпочитая доверять только последнему «авторитетному» мнению модели.

Экспериментальные результаты

Исследователи протестировали SLED на различных моделях включая GPT-OSS, Mistral и Gemma. Метод показал последовательное улучшение фактической точности на различных задачах:

SLED также совместим с другими методами декодирования для фактуальности, такими как DoLa, и может использоваться для дальнейшего снижения галлюцинаций.

Код метода уже доступен в GitHub репозитории, что позволяет сообществу сразу начать экспериментировать с новой технологией.