Новый фреймворк SwiReasoning улучшает рассуждения языковых моделей

Исследователи из Georgia Tech и Microsoft представили фреймворк SwiReasoning, который учит большие языковые модели переключаться между разными режимами рассуждения для повышения точности и эффективности использования токенов.

Как работает переключение режимов

SwiReasoning автоматически переключается между двумя режимами рассуждения:

• Цепочка мыслей (chain-of-thought) — пошаговое решение задачи с явным текстовым выводом
• Скрытое рассуждение (latent reasoning) — внутренние вычисления в векторном пространстве модели без текстового вывода

Решение о переключении принимается на основе измерения энтропии вероятностей токенов. Низкая энтропия сигнализирует об уверенности модели, высокая — о неопределенности. При падении неопределенности система переходит в явный режим для фиксации хода мыслей, при росте — возвращается в скрытый для тестирования альтернативных решений.

Чтобы предотвратить хаотичное переключение, SwiReasoning использует асимметричные временные задержки: переход к явному режиму происходит мгновенно, а возврат к скрытому требует минимального количества шагов.

Защита от бесконечных размышлений

Для предотвращения бесконечных циклов размышлений система устанавливает лимит на количество переключений. При достижении половины лимита модель получает подсказку завершить рассуждения, а при превышении максимума — принудительно выдает ответ.

Элегантное решение классической проблемы ИИ — как найти баланс между тщательным обдумыванием и практической эффективностью. Вместо того чтобы заставлять модель всегда думать вслух или всегда молча, SwiReasoning дает ей интеллектуальный переключатель, который работает как опытный шахматист: иногда нужно продумать ход до конца, иногда — отложить расчет и довериться интуиции.

Результаты тестирования

Исследователи протестировали SwiReasoning на трех моделях размером менее 10 миллиардов параметров: Qwen3-8B, Qwen3-1.7B и дистиллированной версии Deepseek R1 с 8 миллиардами параметров.

На пяти бенчмарках математических и научных задач — от элементарных до уровня выпускников университетов — система показала улучшение точности до 2,8% по математике и 2% по науке, с наибольшим приростом на самых сложных задачах.

Эффективность использования токенов

При ограничениях на количество токенов преимущества SwiReasoning становятся еще заметнее. Фреймворк улучшил эффективность использования токенов (точность на потраченный токен) на 56-79%, а в некоторых случаях — в 6,8 раз по сравнению со стандартной цепочкой мыслей.

В экспериментах с множественными попытками SwiReasoning часто находил правильный ответ значительно быстрее. В одном случае система достигла максимальной точности всего за 13 попыток вместо 46, сократив количество итераций на 72%.

Практическое применение

SwiReasoning не требует дополнительного обучения и может быть интегрирован как замена стандартным функциям генерации без изменения архитектуры модели или параметров. Реализация доступна на GitHub и может использоваться вместе с другими методами оптимизации, такими как оптимизация памяти или ускоренное декодирование.

По материалам The Decoder.