Оглавление

Институт искусственного интеллекта Аллена (Ai2) представил семейство моделей OLMo 3, включающее первую полностью открытую модель мышления на 32 миллиарда параметров с видимым процессом рассуждений. Как сообщает The Decoder, система работает в 2,5 раза эффективнее аналогов при сопоставимой производительности.

Архитектура прозрачности

Семейство OLMo 3 включает три версии: OLMo 3-Base (7B и 32B), OLMo 3-Think (7B и 32B) и OLMo 3-Instruct (7B). Все модели поддерживают контекстное окно в 65 тысяч токенов — в 16 раз больше, чем у предыдущего поколения OLMo 2.

В отличие от большинства так называемых открытых моделей, которые выпускают только веса, OLMo 3 предоставляет полный доступ ко всему циклу разработки:

  • Исходные данные обучения
  • Все промежуточные контрольные точки
  • Полные наборы данных
  • Возможность отслеживания отдельных шагов рассуждений

Эффективность и производительность

Модель OLMo 3-Base 7B демонстрирует в 2,5 раза более эффективное обучение по сравнению с Meta Llama-3.1-8B при измерении GPU-часов на токен. При этом производительность остается конкурентоспособной даже с более крупными системами.

По заявлению разработчиков, OLMo 3 превосходит открытых конкурентов вроде Apertus-70B и SmolLM 3 в тестах на логическое мышление, понимание и работу с длинным контекстом.

Наконец-то появляется модель, где можно увидеть не только результат, но и сам процесс мышления. Это как получить доступ к чертежам архитектора вместе с готовым зданием. В эпоху, когда даже «открытые» модели скрывают ключевые детали обучения, такой уровень прозрачности выглядит революционным — хотя и вызывает вопрос: а готовы ли компании к тому, что их ИИ будут разбирать по косточкам?

Сравнительные характеристики

Модель OLMo 3-Think (32B) показывает впечатляющие результаты в различных категориях:

  • Математика: 96.1 балла в тесте MATH
  • Программирование: 91.4 балла в HumanEvalPlus
  • Логическое мышление: 89.8 балла в BigBenchHard
  • Общие знания: 85.4 балла в MMLU

Инструменты для сообщества

OLMo 3 обучалась на наборе данных Dolma 3 объемом шесть триллионов токенов, включающем веб-контент, научные статьи и код. Ai2 также выпустила набор инструментов Dolci Suite для тонкой настройки навыков рассуждения и OLMES для воспроизводимой оценки моделей.

Все модели распространяются под лицензией Apache 2.0 и доступны на Hugging Face и в Ai2 Playground. Разработчики могут тонко настраивать модели для новых областей, экспериментировать с различными целями обучения или строить на основе опубликованных контрольных точек.

Открытость как стандарт

OLMo 3-Think — первая полностью открытая модель, генерирующая явные цепочки рассуждений шаг за шагом. До сих пор такая видимая логика была ограничена закрытыми системами вроде серии o1 от OpenAI.

Генеральный директор Ai2 Али Фархади заявил, что «высокая производительность не обязательно должна достигаться высокой ценой», а система демонстрирует, как «ответственный, устойчивый ИИ может масштабироваться без компромиссов».

Выпущенная ранее в этом году OLMo 2 32B от Ai2 соответствовала производительности коммерческих моделей вроде GPT-4o mini, используя лишь около трети вычислительных ресурсов. OLMo 3 продолжает эту работу, сосредоточившись на дальнейших улучшениях в открытости, эффективности и прозрачности.