Как языковые модели обучаются на финансовых новостях для прогнозирования рынка

Оглавление

• От нарратива к структурированным данным
• Классификационные модели для анализа рынка
• Прогнозирование событий и контекстно-ориентированные модели
• GRPO и обучение с подкреплением
  • Примеры вывода модели
• Заключение

Финансовые новости содержат не просто описания событий, а полноценные аналитические нарративы, объясняющие причины рыночных движений. Этот принцип лег в основу исследования по применению больших языковых моделей для анализа финансовых рынков.

От нарратива к структурированным данным

Финансовые издания вроде Financial Times, Bloomberg и The Economist предоставляют качественный аналитический контент, где эксперты объясняют не только факты, но и их причины. Например, когда компания DeepSeek выпустила ИИ без использования чипов NVIDIA, аналитики подробно разбирали причины падения акций NVIDIA и почему другие компании, такие как Apple, не пострадали.

Ключевая идея исследования заключается в извлечении причинно-следственных связей из финансовых нарративов. Определяя утверждения типа «акции NVIDIA упали» и маркируя их как «Down», можно структурировать информацию для обучения моделей.

Классификационные модели для анализа рынка

Первый этап построения прогностических моделей включал структурирование сырых новостных данных. Каждая статья ассоциировалась с:

• Датой публикации
• Названием компании
• Заголовком и кратким содержанием новости

Классификационная модель обучалась на структурированном наборе данных с направлениями ценовых изменений, извлеченными из новостей. Обученная модель обрабатывала новостные сводки и предсказывала соответствующие метки движения цен.

Результаты показали, что агрегированные во времени выходы модели близко отслеживают фактические месячные изменения цен для компаний вроде Apple, Tesla, Microsoft и Meta, а также для более широких индексов, таких как Nasdaq.

Сходство трендов особенно сильно проявляется для волатильных компаний, таких как Tesla, или в периоды высокой общей волатильности. Возможно, чем более волатильна цена, тем больше новостей фокусируется на её движениях.

Финансовые новости оказываются не просто описательными, а объяснительными. Преобразуя качественные нарративы в структурированные метки, модель может идентифицировать причинно-следственные связи между событиями и рыночными реакциями.

Прогнозирование событий и контекстно-ориентированные модели

Если классификация захватывает реакцию на новости, то более амбициозная цель — предсказать, какие компании будут затронуты определенным событием, насколько сильно и почему. Это требует рассуждений о событиях, а не просто маркировки наблюдаемых результатов.

Метод RAG (Retrieval-Augmented Generation) позволяет модели ссылаться на исторические события при прогнозировании исходов для новых событий. Например, если появляется новый конкурент в области ИИ, модель может ссылаться на прошлые разработки ИИ и их влияние на рынок.

Используя исторический контекст, она предсказывает, какие компании, вероятно, будут затронуты, ожидаемые изменения цен и генерирует объяснения, согласованные с предыдущими паттернами.

Традиционные финансовые аналитики десятилетиями пытались систематизировать качественный анализ новостей, но только с появлением LLM эта задача стала технически выполнимой. Ирония в том, что машины теперь лучше справляются с анализом человеческих нарративов, чем сами люди.

GRPO и обучение с подкреплением

Для дальнейшего улучшения прогнозов применялась структура обучения с подкреплением под названием Group Relative Policy Optimization (GRPO). Модель получала награды на основе точности предсказаний:

• 4 балла за правильное предсказание как затронутой акции, так и изменения цены
• 2 балла за частично правильные предсказания
• 0 баллов за неправильные предсказания

Это стимулировало модель изучать не только корреляции, но и величину ожидаемых рыночных реакций, улучшая производительность по сравнению с простой классификацией или предсказанием без контекста.

Набор данных включал:

• Сводки выступлений центральных банков (ECB и Федеральная резервная система США)
• Новостные сводки с помеченными причинами и ценовыми вариациями
• Идентификаторы компаний для контекста

Используя этот богатый набор данных, модель изучила паттерны вроде:

• Как регуляторные объявления влияют на акции конкретных секторов
• Как конкурентные разработки по-разному влияют на компании в зависимости от предыдущего инвестиционного воздействия

Результаты показали существенные улучшения в точности предсказаний, особенно когда модель имела доступ к историческому контексту через RAG.

Примеры вывода модели

Интересно наблюдать, как модель ищет похожие события, хотя автор признает некоторые ошибки в процессе обучения.

Заключение

Финансовые новости содержат не просто описательный контент, а богатые объяснительные нарративы, раскрывающие причины рыночных движений. Структурируя эту информацию и используя LLM, можно:

• Извлекать значимые факты из десятков тысяч статей
• Сопоставлять события с движениями цен для конкретных компаний
• Предсказывать будущие воздействия с контекстуальными рассуждениями
• Предоставлять объяснения, отражающие человеческий анализ

Сочетание классификационных моделей, RAG-улучшенного прогнозирования событий и обучения с подкреплением создает комплексную структуру для анализа рынка. LLM позволяют нам выйти за пределы исторических ценовых данных в пространство, где текстовая информация управляет действенной финансовой интуицией, преодолевая разрыв между качественным анализом и количественным моделированием.

Источник новости: Hugging Face