OpenAI до конца года выпустит 1 или 2 новые модели, но не факт, что флагманские

До конца текущего года компания OpenAI планирует представить как минимум одну или две новые нейросети, однако статус грядущего флагмана остается неопределенным из-за затянувшихся проверок безопасности. Как сообщает издание The Decoder, разработчики прикладывают значительные усилия, чтобы привести поведение модели в соответствие с ожиданиями исследователей и заказчиков.

Процесс подготовки новой архитектуры столкнулся с необходимостью тщательного alignment (выравнивания), что в мире больших языковых моделей означает тонкую настройку этических и логических рамок. Кроме того, OpenAI обязана соблюдать требования государственного регулирования: согласно указу президента США, компания должна предоставлять доступ к наиболее продвинутым системам правительственным структурам за 30 дней до их публичного релиза.

Технология зацикленных трансформеров: прогресс против прозрачности

В основе будущего флагмана, как и в уже существующей модели Astra, лежит метод «зацикленных трансформеров», официально именуемый Recurrent Depth. Вместо того чтобы прогонять токен через слои нейросети один раз, система заставляет его проходить через одни и те же веса многократно. Это позволяет компактным моделям показывать выдающиеся результаты в математике и программировании, фактически работая «не в своем весе».

Однако за эффективность приходится платить прозрачностью. Множественные итерации внутри слоев переносят процесс «размышлений» нейросети в скрытые числовые представления, которые человек не может прочитать. Это подрывает мониторинг chain-of-thought (цепочки рассуждений), жизненно важный для того, чтобы вовремя заметить потенциально опасную логику ИИ.

Использование рекурсивных проходов в инференсе — это элегантный костыль для обхода ограничений вычислительной мощности, позволяющий выжимать максимум из архитектуры без бесконечного раздувания параметров. Однако превращение цепочки рассуждений в нечитаемый «черный ящик» лишает нас контроля, делая безопасность декоративной. В погоне за бенчмарками OpenAI рискует создать систему, чей внутренний диалог станет недоступен даже её создателям, превращая ИИ в непредсказуемый черный монолит.

Утечки и рыночное давление

Интересные подробности о работе этих алгоритмов всплыли благодаря оплошности Microsoft. В техническом описании модели GPT-6.1 Sol, которая позиционируется как бюджетная альтернатива Astra, корпорация случайно раскрыла детали: модель использует те же веса, что и базовая версия, но проходит через них дважды вместо трех раз. Этот инцидент подтвердил, что технология зацикливания стала ключевым рычагом масштабирования для OpenAI.

На фоне этих вызовов компания перераспределила около десяти процентов своих вычислительных мощностей на задачи безопасности и выравнивания. В денежном эквиваленте это сотни мегаватт энергии и миллиарды долларов в год. Шеф-ученый OpenAI Якуб Пахоцки уже выражал обеспокоенность тем, что мониторинг внутренних рассуждений моделей становится все более хрупким процессом, и эта тенденция выглядит тревожной для всей индустрии.