Search

Генератор 3D моделей из текста – встречайте MetaDreamer

MetaDreamer — новый инструмент для быстрого создания 3D-моделей на основе текстовых промтов. MetaDreamer генерирует полноценную модель за 20 минут

Генеративный искусственный интеллект для 3D-моделей стабильно развивается. Последняя система разработана исследователями из Китая и является самой быстрой на данный момент. Исследователи из MetaApp AI Research и нескольких китайских университетов разработали MetaDreamer — новый инструмент для быстрого создания 3D-моделей на основе текстовых описаний. Этот метод предназначен для решения распространенных проблем при создании 3D-моделей, таких как несоответствия под разными углами и медленное время обработки.

MetaDreamer работает в два основных этапа: во-первых, инструмент формирует 3D-объект (геометрию), чтобы он выглядел правильно со всех сторон. Затем, на этапе текстурирования, MetaDreamer добавляет детали и текстуры, чтобы объект выглядел реалистично.

Нейросеть MetaDreamer генерирует модель за 20 минут

На этапе геометрии MetaDreamer оптимизирует 3D-модель с помощью эталонного изображения, созданного диффузионной моделью, и нескольких изображений, созданных многоракурсной диффузионной моделью под разными углами. На втором этапе полученная модель дополнительно уточняется в Instant-NGP с использованием дополнительных подробных изображений, созданных искусственным интеллектом.

MetaDreamer-метод генерации 3D изображения
Изображение: MetaApp AI

По словам команды, этот метод позволяет создавать 3D-модели быстро и качественно. MetaDreamer может создавать детальные 3D-объекты из текста всего за 20 минут на графическом процессоре Nvidia A100, что на данный момент является самым быстрым временем в этой области.

MetaDreamer показывает самый лучший результат по сравнению с другими методами

Разработчики сравнили MetaDreamer с другими методами преобразования текста в 3D, такими как Dreamfusion и Magic3D . MetaDreamer превзошел эти методы по скорости, качеству и степени соответствия моделей текстовым описаниям. MetaDreamer также получил наивысший балл в тестах T3Bench, стандарте измерения качества 3D-моделей.

Промт: A futuristic, sleek electric car model

Промт: a flamingo scratching its neck

Смотрите множество других примеров генерации на https://metadreamer3d.github.io/

Однако инструмент еще не идеален; например, ему сложно создавать сцены с несколькими объектами. Команда планирует решить эту проблему в будущем, улучшив понимание модели того, как объекты взаимодействуют в трехмерном пространстве.