Unique3D 在 30 秒內(nèi)從單視圖野生圖像生成高保真、多樣化紋理網(wǎng)格，當然運行速度取決于你的硬件資源情況。

Unique3D主要功能：

• 高保真度生成：Unique3D 實現(xiàn)了最先進的生成保真度，可生成細致復(fù)雜的紋理和復(fù)雜的幾何形狀。這是通過多視圖擴散模型來實現(xiàn)的，該模型生成正交多視圖圖像和相應(yīng)的法線貼圖。

• 效率：框架效率高，能夠在30秒內(nèi)生成高保真3D網(wǎng)格。這種效率歸功于快速前饋模型和稱為 ISOMER 的即時網(wǎng)格重建算法的集成。

• 一致性：Unique3D 通過使用多級升級流程逐步提高生成圖像的分辨率，確保生成視圖的一致性。 ISOMER 算法將顏色和幾何先驗集成到網(wǎng)格結(jié)果中，解決了先前方法中發(fā)現(xiàn)的不一致問題。

• 通用性：該框架表現(xiàn)出很強的通用性，在各種不同風格的野生2D圖像上表現(xiàn)良好。大量實驗證明了這一點，這些實驗表明 Unique3D 在保真度、幾何細節(jié)和分辨率方面優(yōu)于現(xiàn)有方法。

• 多級升級策略：Unique3D采用多級升級策略來逐步增強生成圖像的分辨率。這涉及微調(diào)多視圖感知 ControlNet 并使用超分辨率模型來實現(xiàn)高分辨率輸出。

• 法線貼圖預(yù)測：為了捕捉豐富的表面細節(jié)，Unique3D 使用法線擴散模型來預(yù)測與多視圖彩色圖像相對應(yīng)的法線貼圖。這提高了幾何細節(jié)的準確性，尤其是邊緣處。

• ExplicitTarget 優(yōu)化：為了解決多視圖不一致問題并細化幾何細節(jié)，Unique3D 引入了 ExplicitTarget 優(yōu)化。該方法為每個頂點分配唯一的優(yōu)化目標，比傳統(tǒng)方法更穩(wěn)健地指導(dǎo)優(yōu)化方向。

Unique3D特征：

• 在 30 秒內(nèi)生成高保真紋理網(wǎng)格。

• 5 天內(nèi)僅使用 8 個 RTX4090 GPU 進行訓(xùn)練。

• 利用多視圖擴散模型和法線擴散模型來生成多視圖圖像和法線貼圖。

• 采用多級升級流程來提高分辨率。

• 使用 ISOMER 進行即時且一致的網(wǎng)格重建。

Unique3D由清華大學(xué)和AVAR Inc.的研究團隊共同開發(fā)。

Unique3D官網(wǎng)入口：

Unique3D 在線使用：https://huggingface.co/spaces/Wuvin/Unique3D

Unique3D 項目地址：https://wukailu.github.io/Unique3D/

Unique3D Github：https://github.com/AiuniAI/Unique3D