Оглавление

AWS сообщает о новом подходе к автоматизации обработки документов с помощью визуальных языковых моделей (VLM), которые могут преобразовывать многостраничные документы в структурированный формат JSON с использованием Amazon SageMaker AI и фреймворка SWIFT.

Проблема обработки документов

Извлечение структурированных данных из таких документов, как счета, квитанции и формы, остается сложной бизнес-задачей. Различия в форматах, макетах, языках и поставщиках затрудняют стандартизацию, а ручной ввод данных медленный, подверженный ошибкам и не масштабируется.

Традиционные системы оптического распознавания символов (OCR) и правила часто не справляются с этой сложностью. Например, региональному банку может потребоваться обрабатывать тысячи разнородных документов — заявки на кредит, налоговые декларации, платежные ведомости и удостоверения личности — где ручные методы создают узкие места и повышают риск ошибок.

Революция визуальных языковых моделей

Визуальные языковые модели представляют собой революционный прорыв в интеллектуальной обработке документов. VLM объединяют большие языковые модели со специализированными энкодерами изображений, создавая по-настоящему мультимодальные возможности ИИ как для текстового анализа, так и для визуальной интерпретации.

В отличие от традиционных инструментов обработки документов, VLM обрабатывают документы более целостно — одновременно анализируя текстовое содержание, макет документа, пространственные отношения и визуальные элементы способом, более близким к человеческому пониманию. Этот подход позволяет VLM извлекать смысл из документов с беспрецедентной точностью и контекстным пониманием.

Схема рабочего процесса интеллектуальной обработки документов: загрузка документа и вывод JSON
Источник: aws.amazon.com

Архитектура решения

Статья содержит четыре основных раздела, отражающих основные вклады работы:

  • Обзор различных подходов к обработке документов, включая тонкую настройку как рекомендуемое масштабируемое решение
  • Пример кода для тонкой настройки VLM для преобразования документов в JSON
  • Разработка фреймворка оценки для анализа производительности обработки структурированных данных
  • Обсуждение возможных вариантов развертывания с конкретным примером

SageMaker AI — это полностью управляемый сервис для создания, обучения и развертывания моделей в масштабе. В этой работе используется SageMaker AI для тонкой настройки VLM и их развертывания как для пакетного, так и для реального времени вывода.

Технические требования

Для успешной реализации решения необходимо:

  1. Аккаунт AWS с разрешениями на создание и управление ресурсами в SageMaker AI, Amazon S3 и Amazon ECR
  2. IAM разрешения для пользователя или роли с достаточными правами доступа
  3. GitHub репозиторий с кодом проекта: 
    git clone https://github.com/aws-samples/sample-for-multi-modal-document-to-json-with-sagemaker-ai.git
  4. Локальная среда разработки с Python 3.10+, AWS CLI, Docker и Jupyter Notebook

Подход AWS демонстрирует зрелость облачных ML-инструментов — теперь даже сложные задачи мультимодального ИИ доступны через стандартизированные сервисы. Интересно, что они выбрали SWIFT вместо более популярных фреймворков, что говорит о растущей конкуренции в инструментах тонкой настройки. Главный вызов здесь — не технология, а качество данных для обучения: без хорошо размеченных документов даже самые продвинутые модели будут выдавать мусор на выходе.

Этот подход особенно актуален для организаций, сталкивающихся с необходимостью обработки больших объемов разноформатных документов — от финансовых учреждений до государственных структур и логистических компаний.