Разработчики из Black Forest Labs выпустили FLUX 3 Action — открытую нейросетевую модель, созданную специально для управления робототехническими системами. Как сообщает издание The Decoder, новинка базируется на мультимодальной архитектуре FLUX 3, которая обучалась преимущественно на видеоматериалах, но также впитывала изображения и аудиоданные для лучшего понимания физического мира.

Эта разработка относится к классу world-action моделей. Она способна принимать видеопотоки с нескольких камер, установленных в рабочей зоне робота, и на их основе не просто планировать следующее движение, но и прогнозировать, как именно изменится окружающая среда в результате совершенного действия. Для тех, кто привык к неповоротливости классических алгоритмов, такая прогностическая способность выглядит как серьезный шаг к автономности.

В ходе тестов на платформе RoboLab-120, поддерживаемой NVIDIA, модель FLUX 3 Action установила новый рекорд по показателю успешности выполнения задач. Примечательно, что нейросеть содержит всего 7 миллиардов параметров. По данным разработчиков, это делает её в два раза компактнее предыдущего лидера среди открытых моделей, при этом скорость работы выросла почти в четыре раза.

Выбор в пользу эффективности кажется вполне осознанным, ведь тяжеловесные модели с развитыми способностями к рассуждению часто оказываются слишком медленными для работы в реальном времени. Для робота, который должен мгновенно реагировать на препятствие или изменение положения объекта, задержка в несколько секунд эквивалентна полной неработоспособности, что и делает компактные архитектуры столь востребованными.

Компактность FLUX 3 Action — это не просто экономия ресурсов, а попытка решить проблему латентности, которая годами тормозит внедрение ИИ в «железо». Однако рекордные показатели на симулированном RoboLab-120 не гарантируют такой же прыти в условиях зашумленного цеха или непредсказуемой домашней среды. Мы видим очередной триумф бенчмарков, который еще предстоит проверить реальностью, где трение и гравитация беспощадны к теоретическим расчетам.

Помимо физических манипуляторов, Black Forest Labs видит перспективы применения модели в цифровых пространствах. Видеоигры могут стать отличным полигоном для обучения агентов навигации, а в будущем подобные технологии могут лечь в основу систем, способных быстро и точно управлять интерфейсами компьютеров, имитируя действия человека.

Веса модели уже опубликованы на платформе Hugging Face, что позволяет сообществу исследователей и инженеров начать интеграцию FLUX 3 Action в свои проекты. Возможно, именно доступность таких инструментов поможет робототехнике наконец выйти за пределы стерильных лабораторий в непредсказуемый реальный мир.