Генеративный искусственный интеллект для 3D-моделей стабильно развивается. Последняя система разработана исследователями из Китая и является самой быстрой на данный момент. Исследователи из MetaApp AI Research и нескольких китайских университетов разработали MetaDreamer — новый инструмент для быстрого создания 3D-моделей на основе текстовых описаний. Этот метод предназначен для решения распространенных проблем при создании 3D-моделей, таких как несоответствия под разными углами и медленное время обработки.
MetaDreamer работает в два основных этапа: во-первых, инструмент формирует 3D-объект (геометрию), чтобы он выглядел правильно со всех сторон. Затем, на этапе текстурирования, MetaDreamer добавляет детали и текстуры, чтобы объект выглядел реалистично.
Нейросеть MetaDreamer генерирует модель за 20 минут
На этапе геометрии MetaDreamer оптимизирует 3D-модель с помощью эталонного изображения, созданного диффузионной моделью, и нескольких изображений, созданных многоракурсной диффузионной моделью под разными углами. На втором этапе полученная модель дополнительно уточняется в Instant-NGP с использованием дополнительных подробных изображений, созданных искусственным интеллектом.
По словам команды, этот метод позволяет создавать 3D-модели быстро и качественно. MetaDreamer может создавать детальные 3D-объекты из текста всего за 20 минут на графическом процессоре Nvidia A100, что на данный момент является самым быстрым временем в этой области.
MetaDreamer показывает самый лучший результат по сравнению с другими методами
Разработчики сравнили MetaDreamer с другими методами преобразования текста в 3D, такими как Dreamfusion и Magic3D . MetaDreamer превзошел эти методы по скорости, качеству и степени соответствия моделей текстовым описаниям. MetaDreamer также получил наивысший балл в тестах T3Bench, стандарте измерения качества 3D-моделей.
Промт: A futuristic, sleek electric car model
Промт: a flamingo scratching its neck
Смотрите множество других примеров генерации на https://metadreamer3d.github.io/
Однако инструмент еще не идеален; например, ему сложно создавать сцены с несколькими объектами. Команда планирует решить эту проблему в будущем, улучшив понимание модели того, как объекты взаимодействуют в трехмерном пространстве.
