NatureLM-audio запускает интерактивный интерфейс для анализа звуков животных

Earth Species Project представила интерактивный веб-интерфейс для своей языковой модели NatureLM-audio, предназначенной для анализа биоакустических данных. Новый инструмент позволяет исследователям и энтузиастам работать со звуками животных без необходимости программирования.

Открытая модель для биоакустики

NatureLM-audio — первая крупная аудио-языковая модель, специально разработанная для обработки звуков животного мира. Модель обучалась на разнообразных данных: биоакустические записи, человеческая речь и музыка. Проект с открытым исходным кодом доступен на Hugging Face с начала этого года.

Уже сейчас модель используют отдельные исследователи и природоохранные проекты, такие как FrogID, для оценки в реальных условиях.

Экспериментальный бета-интерфейс

Новый интерфейс размещен на Hugging Face Spaces и позволяет загружать аудиофайлы с голосами животных, задавая вопросы модели на обычном английском языке.

Расшифровка коммуникации животных — слишком масштабная задача для одной организации. Именно поэтому мы открываем наши модели и создаем инструменты, упрощающие их использование. Наша цель — помочь исследователям управлять огромными массивами биоакустических данных, автоматизировать анализ и находить новые паттерны.

Разработчики приглашают сообщество протестировать демо-версию, поделиться вариантами использования и предложить идеи на дискуссионном форуме. Для доступа к будущим функциям можно записаться в закрытое бета-тестирование.

Как использовать интерфейс NatureLM-audio

1. Перейдите на Hugging Face Space
   

   

2. Загрузите короткий аудиофайл или выберите готовый пример
   

   

   Загрузите короткую запись со звуком животного (например, пение птиц, кваканье лягушки). Или выберите один из примеров в нижней части страницы. Также можно воспользоваться вкладкой «Библиотека образцов» для изучения и загрузки образцов звуков.

3. Обрежьте аудио до 10 секунд или меньше
   

   

   Для обрезки нажмите на значок ножниц в правом нижнем углу аудиопанели. Модель пока лучше работает с короткими клипами, да и обработка происходит быстрее. Разработчики активно работают над поддержкой более длинных записей и пакетной обработки.

4. Выберите задачу или напишите свой запрос
   

   

   Готовые задачи в выпадающем меню — примеры биоакустических задач, которые поддерживает модель. Выбор задачи автоматически заполнит поле чата, после чего можно отредактировать запрос перед отправкой.

По сообщению Hugging Face, этот инструмент открывает новые возможности для исследований в области биоакустики и этологии.