Sora

Sora — это инновационная нейросеть от OpenAI для генерации реалистичного Full HD-видео из текстовых описаний, изображений и референсов, способная создавать клипы до 1 минуты с высокой детализацией, сложной сценографией, динамикой движения, физикой объектов и синхронизированным звуком. Sora открыта широкой аудитории с марта 2024 года на ChatGPT Plus/Pro и доступна разработчикам через API.

Архитектурно Sora — это диффузионная модель с технологией пространственно-временных патчей, оптимизированная для последовательности кадров. Возможности: генерация и анимация сцен и объектов из текстового промпта, расширение видео, анимирование статичных изображений, сцепление и стилизация клипов. Sora моделирует сложные взаимодействия персонажей, поддерживает многокамерную съемку, нелинейную динамику, кастомизацию стилей (cinematic, аниме, вертикальные видео), экспорт в 4K/8K (в roadmap), симулирует физику объектов и позволяет вносить правки через текстовые инструкции.

Особенности:

• Генерация Full HD видео до 60 сек. по текстовому/изображенческому промпту
• Анимация статичных картинок и расширение существующего видео
• Симуляция реальной физики, динамика, многоплановые сцены и движения камеры
• Синхронизированный аудио-саундтрек (диалоги, эффекты, атмосфера)
• Интерполяция и склейка кадров, редактирование стилей и среды видео текстом
• Поддержка multi-style: кино, аниме, синематик, вертикальные соц. видео
• Возможность интеграции и экспорта в 4K+ (roadmap), видео-to-видео редакция

Ссылки:

• Официальный сайт Sora
• Sora 2 — официальный анонс
• Hugging Face (модели, связанные с Sora)
• App Store (Sora для iOS)
• Google Play (Sora для Android)