Оглавление

Amazon продолжает наращивать инвестиции в технологии визуального поиска, представив обновление Lens Live для своего мобильного приложения. Новый функционал позволяет пользователям наводить камеру смартфона на любые объекты в реальном мире и мгновенно получать карусель товаров-аналогов из ассортимента маркетплейса.

Как работает технология

Lens Live не заменяет существующий инструмент Amazon Lens, а добавляет к нему компонент реального времени. Пользователи могут направлять камеру на продукты в магазинах, на улице или дома и видеть совпадения в нижней части экрана в виде прокручиваемой ленты.

Демонстрация интерфейса инструмента для шопинга Amazon Lens Live с ИИ

При использовании функции можно нажать на любой объект в поле зрения камеры, чтобы система сфокусировалась именно на нем. Найденные товары можно сразу добавить в корзину (+) или сохранить в список желаний (сердечко).

Техническая основа

Система работает на базе сервисов Amazon SageMaker, которые позволяют развертывать машинное обучение в масштабе, и использует управляемый AWS Amazon OpenSearch. Интеграция с ИИ-ассистентом Rufus предоставляет пользователям:

  • Автоматически генерируемые описания товаров
  • Подсказки с вопросами для уточнения информации
  • Возможность быстрого исследования перед покупкой
Интересно, что Amazon здесь явно играет на опережение. Визуальный поиск — не новая концепция (достаточно вспомнить Google Lens или Pinterest), но интеграция с полноценной экосистемой электронной коммерции и ИИ-ассистентом меняет правила игры. Вопрос в том, насколько точно алгоритмы смогут распознавать товары в неидеальных условиях — плохом освещении, под углом, среди других объектов. Технически сложная задача, но если у кого и есть данные для тренировки таких моделей, так это у Amazon.

Стратегическое значение

Lens Live использует уже существующее поведение потребителей — сравнение цен в офлайн-магазинах с предложениями онлайн-ритейлеров. Теперь этот процесс становится бесшовным: увидел товар в магазине → навел камеру → сразу увидел цену на Amazon.

Это уже далеко не первый ИИ-инструмент Amazon для шопинга. За последний год компания представила:

  • ИИ-ассистента Rufus
  • ИИ-гиды по покупкам
  • Улучшенные ИИ-отзывы
  • Инструменты подбора одежды по размеру
  • Голосовые сводки товаров
  • Персонализированные подсказки

Новый функционал сначала запускается в приложении Amazon Shopping для iOS и будет доступен «десяткам миллионов» пользователей в США. О планах глобального расширения компания пока не сообщает.

По материалам TechCrunch