FlashMap ускоряет декодирование LLM в 6 раз, используя совместный черновик для токенов
Исследователи представили FlashMap, метод ускорения генерации текста большими языковыми моделями за счёт совместного черновика токенов. На Qwen3-8B он дал ускорение до 6,14 раза без изменения итогового ответа по сравнению с обычным декодированием.
