TRIPS — это новый подход к точечному рендерингу освещения, который обеспечивает более высокое качество изображения, чем Gaussian Splatting, и работает в режиме реального времени.
Команда исследователей из Университета Фридриха-Александра в Нюрнберге разработала TRIPS (Trilinear Point Splatting), новый подход к точечному рендерингу поля излучения. TRIPS сочетает в себе идеи 3D Gaussian Splatting и ADOP, двух последних успешных подходов в этой области, для визуализации четких, реалистичных изображений без искажений. Целью этих и других методов является поиск более эффективных альтернатив, не требующих больших вычислительных ресурсов.
По словам команды, у Gaussian Splatting на практике возникают проблемы с рендерингом детальных сцен, с размытием и артефактами. ADOP может создавать более качественные изображения, но используемая им нейронная реконструкция снижает производительность. TRIPS создан для решения этих проблем и, по словам команды, превосходит Gaussian Splatting и ADOP по качеству изображения и производительности.
Реклама. ЧОУ ЧАСТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ СКИЛБОКС (КОРОБКА НАВЫКОВ), ИНН 9704088880, erid: LdtCJzD4K
TRIPS использует трилинейный сплаттинг для трехмерной визуализации.
По своей сути ТРИПС работает с концепцией, известной как «точечный рендеринг». Это означает, что 3D-сцены представлены не традиционными геометрическими фигурами, такими как треугольники, а облаком точек. В TRIPS используется метод, при котором эти точки располагаются в виде пирамиды в пространстве изображения (области, которую вы видите на экране). Эта пирамида состоит из нескольких слоев с разным разрешением, каждый из которых показывает различное представление 3D-сцены с разными деталями.
В ТРИПС для этого используется «трехлинейное пятно». Точки распределены по уровням пирамиды так, что они появляются на разных уровнях в зависимости от их размера и расстояния от камеры. Большие или близлежащие точки размещаются на более высоких уровнях разрешения, а меньшие или более удаленные точки размещаются на более низких уровнях разрешения.
После распределения точек по пирамиде используется малая нейронная сеть (CNN). Цель этой сети — объединить изображения с разных уровней пирамиды в одно детальное и связное трехмерное изображение. Он заполняет пробелы и сглаживает переходы, создавая реалистичное общее изображение.
По словам команды, TRIPS достигает впечатляющих результатов при рендеринге высокодетализированных интерьеров и обширных ландшафтов с детализированными текстурами и обширными облаками точек, визуализируемыми в реальном времени на Nvidia RTX 4090. Обучение сцены на Nvidia A100 занимает от двух до четырех часов. графический процессор.
Дополнительные примеры и информацию как это работает смотрите на странице проекта ТРИПС . Реализация с открытым исходным кодом также будет вскоре опубликована на GitHub .
