Оглавление

Инженеры MIT представили искусственный интеллект, который может работать с CAD-программами как человек — кликать мышью, выбирать инструменты и создавать трехмерные модели на основе двумерных эскизов. Система обучалась на 41 000 видеозаписей процесса проектирования в CAD.

Проблема сложности CAD

Системы автоматизированного проектирования (CAD) остаются крайне сложными для освоения. Программы содержат тысячи команд, а для полноценного владения ими требуются месяцы, а то и годы практики. Именно эту проблему решили устранить исследователи из MIT.

«Есть возможность использовать ИИ для повышения производительности инженеров, а также сделать CAD более доступным для большего числа людей», — говорит аспирант Гади Неме.

От команд к кликам

Команда создала датасет VideoCAD, который содержит не просто последовательности высокоуровневых команд вроде «нарисовать линию» или «выдавить», а детальные записи пользовательских действий: какие именно области выбирать, когда увеличивать масштаб, какие части эскиза подвергать обработке.

«Например, если мы нарисовали эскиз, проведя линию от точки 1 до точки 2, мы переводили эти высокоуровневые действия в пользовательские интерфейсные действия — перейти к этой пиксельной позиции, кликнуть, затем переместиться ко второй позиции и кликнуть, имея выбранной операцию „линия“», — объясняет Неме.

Как работает AI-агент

Обученная на VideoCAD модель принимает 2D-эскиз на вход и непосредственно управляет CAD-программой:

  • Кликает мышью в нужных местах
  • Перетаскивает элементы
  • Выбирает инструменты из панелей
  • Создает полную 3D-форму шаг за шагом

Система уже справляется с объектами разной сложности — от простых скоб до сложных архитектурных проектов.

Идея обучения ИИ через запись действий пользователя — это следующий логический шаг после обучения на текстовых данных. Вместо того чтобы просто генерировать код, система учится работать в реальных интерфейсах, что открывает путь к настоящим цифровым помощникам, способным выполнять любые задачи на компьютере. Правда, возникает вопрос: не получим ли мы армию ИИ, которые будут так же ненавидеть CAD, как и большинство студентов-первокурсников?

Перспективы CAD-копилотов

Исследователи видят будущее, где такие AI-агенты станут полноценными «CAD-копиллотами»:

  • Предлагать следующие шаги в проектировании
  • Автоматически выполнять рутинные операции
  • Помогать новичкам осваивать сложный софт

«VideoCAD — ценный первый шаг к AI-помощникам, которые помогают новым пользователям и автоматизируют повторяющуюся работу по моделированию», — отмечает Мехди Атаи, старший научный сотрудник Autodesk Research.

Работа будет представлена на конференции Neural Information Processing Systems (NeurIPS) в декабре. Исследователи продолжают обучать модель на более сложных формах и планируют расширить поддержку различных CAD-систем.

По материалам MIT News.