Hugging Face расширяет AI Sheets возможностями компьютерного зрения

Hugging Face пишет о масштабном обновлении своего инструмента AI Sheets — открытого решения для работы с данными через ИИ-модели без написания кода. Теперь платформа поддерживает компьютерное зрение, позволяя извлекать информацию из изображений, генерировать визуальный контент и редактировать картинки прямо в таблицах.

Работа с визуальными данными в привычном интерфейсе

Изображения окружают нас повсюду: фотографии товаров, чеки, скриншоты, диаграммы, логотипы. Все эти документы содержат структурированную информацию, которую теперь можно извлекать, анализировать и преобразовывать непосредственно в табличной среде.

Ключевые возможности обновления:

• Описание и категоризация изображений — генерация подписей к фотографиям товаров, классификация типов документов
• Извлечение структурированных данных — получение позиций из чеков, данных из графиков или текста из отсканированных документов
• Добавление контекста и метаданных — автоматическая маркировка изображений соответствующими атрибутами
• Генерация и редактирование визуального контента — создание изображений из текста и модификация существующих картинок

Практическое применение: от чеков до контент-стратегий

Представьте ситуацию: вы вернулись из командировки с пачкой чеков. Загружаете их в AI Sheets и создаете столбец с промптом: «Извлеки название магазина, дату, общую сумму и категорию расходов из этого чека».

Инструмент обрабатывает каждый чек и выдает чистую таблицу со всеми деталями. Ошибки можно редактировать вручную, а правильные результаты отмечать «лайками» для улучшения последующих генераций.

Другой сценарий — создание контент-календаря для социальных сетей. У вас есть таблица с заголовками и описаниями постов о здоровом питании, но нет изображений. Создаете столбец для картинок с промптом: «Сгенерируй аппетитное фото еды для: {{заголовок}}. Стиль: яркий, вид сверху, естественное освещение».

Интересно наблюдать, как инструменты вроде AI Sheets демократизируют доступ к сложным ИИ-моделям. То, что раньше требовало команд разработчиков и недель работы, теперь доступно любому пользователю таблиц. Правда, остается вопрос качества обработки рукописных текстов и сложных изображений — здесь еще есть куда расти.

Пошаговое руководство по работе с изображениями

Рассмотрим практический пример работы с рукописными рецептами:

1. Загрузка данных — загружаем папку с фотографиями в приложение
   

   

2. Создание таблицы — получаем готовую таблицу с изображениями
   

   

3. Работа с ИИ-действиями — наводим курсор на любой столбец для выбора операций
   

   

4. Извлечение текста — используем шаблон для распознавания текста на изображениях

Результатом становится автоматически сгенерированный столбец с распознанным текстом . Для демонстрационного изображения инструмент корректно извлек рецепт торта с ингредиентами и инструкциями по приготовлению.

AI Sheets использует тысячи открытых моделей через Inference Providers, что обеспечивает доступ к самым современным алгоритмам компьютерного зрения и генерации изображений.

Экспорт готовых датасетов доступен в форматах CSV или Parquet для дальнейшего использования в других инструментах анализа данных или системах учета.