ИИ-система создает модели для сборки из кирпичиков Лего
Исследователи из Университета Карнеги-Меллона создали инструмент BrickGPT, который использует текстовые запросы для создания пошаговых инструкций по сборке физически устойчивых моделей из кубиков Lego. Подробную инструкцию может реализовать человек, а может промышленный робот. Ученые считают, что кубики Lego — только первый шаг для системы, которая сможет по промпту создавать физические объекты.
Робот-сборщик выполняет проект, созданный BrickGPT. Carnegie Mellon University
Конструкторы Lego замечательны тем, что они позволяют из элементарных единиц собирать самые изощренные объекты. Фактически кубики — это пространственные «пиксели» (или воксели). Имение манипулировать такими наборами может «перекинуть мост» между генеративными ИИ-моделями и физическим миром.
Ученые из Школы компьютерных наук Университета Карнеги-Меллона представили инновационный инструмент BrickGPT, который способен изменить подходы к производству и конструированию. Эта AI-система использует обычные текстовые запросы для создания подробных инструкций по сборке физически стабильных моделей из кубиков Lego, причем работать с системой могут как люди, так и роботы.
BrickGPT принимает простое слово, например, «гитара» и создает пошаговое руководство для сборки устойчивой модели этого объекта. Хотя система пока сфокусирована на работе с Lego, превращение текстового запроса в физически стабильную конструкцию выходит далеко за рамки игры. «Это исследование прокладывает путь к генеративному производству, когда люди могут использовать генеративную модель для проектирования повседневных объектов, которые они могут построить сами», — объяснил соавтор проекта Джун-Ян Чжу.
ИИ-модели конструируют физический мирИсследователи считают, что слияние ИИ и робототехники может значительно ускорить процесс проектирования и создания новых объектов. Это может принести пользу производственной сфере, поскольку обычно требуется много времени для превращения идей в физический дизайн и прототип. Интеграция генеративного ИИ в этот процесс способна существенно повысить эффективность и убрать препятствия для запуска новых проектов.
Для обучения BrickGPT исследователи создали датасет StableText2Brick, содержащий более 47 000 кирпичных структур, созданных на основе более 28 000 уникальных 3D-объектов с подробными описаниями. Команда взяла существующий датасет 3D-форм ShapeNetCore и преобразовала эти формы в сетку маленьких кубов в процессе, называемом воксилизацией. Затем была обучена авторегрессивная языковая модель, которая предсказывает будущие значения на основе предыдущих.
В настоящее время демонстрационная версия BrickGPT может создавать пошаговые руководства для сборки 21 типа моделей из Lego, включая скворечник, диван и пианино. Когда пользователь вводит запрос «диван», система генерирует 3D-модель, затем алгоритм преобразует ее в кирпичную структуру, а BrickGPT проверяет устойчивость конструкции.
Ученые планируют масштабировать модель, чтобы она могла генерировать больше объектов, чем нынешние 21, а также расширить разнообразие библиотеки деталей для повышения точности и сложности создаваемых конструкций.
Робот-сборщик выполняет проект, созданный BrickGPT. Carnegie Mellon University
Конструкторы Lego замечательны тем, что они позволяют из элементарных единиц собирать самые изощренные объекты. Фактически кубики — это пространственные «пиксели» (или воксели). Имение манипулировать такими наборами может «перекинуть мост» между генеративными ИИ-моделями и физическим миром.
Ученые из Школы компьютерных наук Университета Карнеги-Меллона представили инновационный инструмент BrickGPT, который способен изменить подходы к производству и конструированию. Эта AI-система использует обычные текстовые запросы для создания подробных инструкций по сборке физически стабильных моделей из кубиков Lego, причем работать с системой могут как люди, так и роботы.
BrickGPT принимает простое слово, например, «гитара» и создает пошаговое руководство для сборки устойчивой модели этого объекта. Хотя система пока сфокусирована на работе с Lego, превращение текстового запроса в физически стабильную конструкцию выходит далеко за рамки игры. «Это исследование прокладывает путь к генеративному производству, когда люди могут использовать генеративную модель для проектирования повседневных объектов, которые они могут построить сами», — объяснил соавтор проекта Джун-Ян Чжу.
ИИ-модели конструируют физический мирИсследователи считают, что слияние ИИ и робототехники может значительно ускорить процесс проектирования и создания новых объектов. Это может принести пользу производственной сфере, поскольку обычно требуется много времени для превращения идей в физический дизайн и прототип. Интеграция генеративного ИИ в этот процесс способна существенно повысить эффективность и убрать препятствия для запуска новых проектов.
Для обучения BrickGPT исследователи создали датасет StableText2Brick, содержащий более 47 000 кирпичных структур, созданных на основе более 28 000 уникальных 3D-объектов с подробными описаниями. Команда взяла существующий датасет 3D-форм ShapeNetCore и преобразовала эти формы в сетку маленьких кубов в процессе, называемом воксилизацией. Затем была обучена авторегрессивная языковая модель, которая предсказывает будущие значения на основе предыдущих.
В настоящее время демонстрационная версия BrickGPT может создавать пошаговые руководства для сборки 21 типа моделей из Lego, включая скворечник, диван и пианино. Когда пользователь вводит запрос «диван», система генерирует 3D-модель, затем алгоритм преобразует ее в кирпичную структуру, а BrickGPT проверяет устойчивость конструкции.
Ученые планируют масштабировать модель, чтобы она могла генерировать больше объектов, чем нынешние 21, а также расширить разнообразие библиотеки деталей для повышения точности и сложности создаваемых конструкций.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.
