Оглавление

Исследователи из компании Baidu разработали архитектуру оптического распознавания символов (OCR), способную обрабатывать десятки страниц текста за один проход. Как сообщает The Decoder, система Unlimited OCR сохраняет стабильную скорость и низкое потребление памяти независимо от объема входящих данных, используя биологическую аналогию процесса человеческого забывания.

Традиционные модели OCR сталкиваются с серьезным препятствием при работе с длинными документами: их KV-кеш — буфер памяти для хранения промежуточных данных — разрастается по мере генерации текста. Это неизбежно приводит к замедлению работы и дефициту вычислительных ресурсов, из-за чего современные системы обычно обрабатывают файлы постранично, сбрасывая контекст после каждого шага.

Механизм скользящего окна и аналогия с переписыванием книг

В основу решения легла концепция Reference Sliding Window Attention (R-SWA). Разработчики сравнили работу модели с человеком, который переписывает книгу: он не перечитывает всё написанное ранее, а фокусируется на источнике перед глазами и нескольких последних словах на бумаге. Старые фрагменты постепенно стираются из оперативной памяти, освобождая место для новых задач.

В Unlimited OCR каждый новый токен «видит» все визуальные данные страницы, но обращается лишь к последним 128 сгенерированным токенам. Такой подход превращает KV-кеш в очередь фиксированной длины, где новые данные просто вытесняют самые старые. Это позволяет удерживать потребление памяти на одном уровне, даже если документ насчитывает сорок или пятьдесят страниц.

Система базируется на открытой модели Deepseek OCR, дополненной архитектурой Mixture-of-Experts (MoE) с 3 миллиардами параметров. Примечательно, что во время инференса активны лишь около 500 миллионов из них, что обеспечивает высокую энергоэффективность. Модель была обучена на двух миллионах образцов документов с использованием мощностей Nvidia A800.

Архитектурное решение с фиксированным окном внимания — изящный способ обойти проклятие квадратичной сложности трансформеров, однако термин «unlimited» здесь скорее маркетинговый аванс. Пока визуальные токены продолжают накапливаться в рамках жесткого лимита контекста в 32 000 единиц, мы имеем дело не с бесконечностью, а с эффективной оптимизацией под конкретный класс задач. Настоящий прорыв случится, когда модель научится динамически подгружать визуальные блоки, а не просто игнорировать хвост собственной генерации.

Производительность и точность в тестах

На бенчмарке OmniDocBench v1.5 новая модель набрала 93%, что на шесть процентных пунктов выше показателей базовой Deepseek OCR. Особенно заметный прогресс наблюдается в распознавании сложных табличных структур. Исследователи отмечают, что ограничение контекста до 128 токенов не только не снизило точность, но и помогло модели меньше «галлюцинировать» при обработке плотного текста.

Скорость работы в базовом режиме составила 5580 токенов в секунду, что на 12,7% быстрее предшественников. В тестах на длинные дистанции модель сохраняла корректность распознавания даже за пределами сороковой страницы. Редкие ошибки, возникающие при обработке мелкого шрифта, авторы связывают не с работой алгоритмов внимания, а с ограничениями разрешения энкодера изображений.

На текущий момент проект Unlimited OCR доступен сообществу: код и веса модели опубликованы на GitHub и Hugging Face. Технология может найти применение не только в оцифровке архивов, но и в расширении памяти чат-ботов, где текстовые данные зачастую эффективнее хранить в сжатом визуальном формате, экономя на стоимости токенов в коммерческих API.