Google Research представила модель TimesFM-ICF для прогнозирования временных рядов с обучением на нескольких примерах

По сообщению Google Research, их новая модель TimesFM-ICF демонстрирует прорыв в прогнозировании временных рядов, достигая точности тонкой настройки без необходимости дополнительного обучения.

Новый подход к прогнозированию временных рядов

Традиционные методы прогнозирования временных рядов требуют создания отдельных специализированных моделей для каждой задачи — процесс, который требует значительных временных затрат и экспертизы. Новая модель TimesFM-ICF использует подход обучения на нескольких примерах, позволяя системе адаптироваться к контексту во время выполнения.

Ирония в том, что мы снова изобретаем то, что люди делали всегда — учимся на нескольких примерах, просто теперь это делают алгоритмы. Вместо месяцев разработки отдельных моделей — несколько релевантных временных рядов, и система сама понимает, как их применить. Элегантно и практично.

Архитектурные инновации

Модель основана на архитектуре TimesFM — декодере, который токенизирует каждые 32 последовательных временных точки (патч) как входной токен и применяет стек трансформеров. Ключевое нововведение — использование специальных разделительных токенов, которые предотвращают смешивание различных временных рядов.

Основные технические особенности:

• Использование общего разделительного токена после каждого набора примеров
• Архитектура с причинным самовниманием (causal self attention)
• Многослойный перцептрон для преобразования токенов обратно во временные ряды

Результаты тестирования

Модель протестирована на 23 наборах данных, которые не использовались во время обучения. TimesFM-ICF показала улучшение точности на 6.8% по сравнению с базовой версией TimesFM и соответствие производительности версии с тонкой настройкой (TimesFM-FT), но без необходимости дополнительного обучения.

Ключевые метрики:

• Геометрическое среднее агрегированных ошибок (MASE)
• Нормализация относительно наивного повторения сезонных паттернов
• Сравнение с сильным бейзлайном supervised fine-tuning

Практическое применение

Новый подход позволяет бизнесам развертывать более мощную и адаптируемую модель прогнозирования без необходимости запуска полного ML-процесса для каждой отдельной задачи. Это особенно ценно для:

• Прогнозирования спроса в ритейле
• Предсказания энергопотребления
• Анализа трафика и логистики
• Финансового прогнозирования

Модель демонстрирует согласованность с ожиданиями: большее количество контекстных примеров приводит к более точным прогнозам, хотя и увеличивает время вывода. TimesFM-ICF также показывает лучшее использование контекста по сравнению с моделями, не имеющими возможности работы с in-context примерами.