提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺(tái)Hi3DGen：從2D圖像生成高保真3D幾何模型的框架
Hi3DGen是什么？
Hi3DGen 是一種從 2D 圖像生成高保真 3D 幾何模型的框架。它通過法線圖作為中間表示，結(jié)合圖像到法線的估計(jì)器和法線到幾何的學(xué)習(xí)方法，提升生成保真度。此外，它還構(gòu)建了高質(zhì)量合成數(shù)據(jù)集 DetailVerse 支持訓(xùn)練。實(shí)驗(yàn)顯示，Hi3DGen在生成豐富幾何細(xì)節(jié)方面表現(xiàn)非常不錯(cuò)，適用于虛擬現(xiàn)實(shí)、游戲開發(fā)等場景。
Hi3DGen功能特征
高保真 3D 生成：通過法線圖作為中間表示，結(jié)合先進(jìn)的估計(jì)器和學(xué)習(xí)方法，能夠從 2D 圖像生成高保真、細(xì)節(jié)豐富的 3D 幾何模型。
強(qiáng)大的泛化能力：采用雙流訓(xùn)練策略，解耦圖像的低頻和高頻模式，使得模型在不同輸入條件下都能穩(wěn)定輸出高質(zhì)量結(jié)果。
高效的幾何監(jiān)督：通過法線正則化的潛在擴(kuò)散學(xué)習(xí)方法，為 3D 幾何生成提供明確的監(jiān)督信號(hào)，顯著提升生成精度。
高質(zhì)量數(shù)據(jù)支持：配備 DetailVerse 合成數(shù)據(jù)集，包含復(fù)雜幾何結(jié)構(gòu)和豐富細(xì)節(jié)，為模型訓(xùn)練提供充足的數(shù)據(jù)支持。
Hi3DGen框架組成
圖像到法線的估計(jì)器（NiRNE）：通過噪聲注入和雙流訓(xùn)練，解耦圖像的低頻和高頻模式，從而實(shí)現(xiàn)泛化能力強(qiáng)、穩(wěn)定且清晰的法線估計(jì)。
法線到幾何的學(xué)習(xí)方法（NoRLD）：采用法線正則化的潛在擴(kuò)散學(xué)習(xí)方法，在訓(xùn)練過程中提供明確的 3D 幾何監(jiān)督，顯著提高生成保真度。
3D 數(shù)據(jù)合成管道：構(gòu)建了一個(gè)名為 DetailVerse 的高質(zhì)量合成 3D 數(shù)據(jù)集，用于支持框架的訓(xùn)練。
Hi3DGen技術(shù)優(yōu)勢(shì)
利用法線圖作為中間表示：法線圖編碼了表面方向信息，可以有效緩解合成訓(xùn)練數(shù)據(jù)與實(shí)際應(yīng)用之間的域差距，并為幾何學(xué)習(xí)提供更清晰的幾何線索。
雙流訓(xùn)練策略：通過解耦低頻和高頻圖像模式的學(xué)習(xí)，NiRNE 能夠在保持穩(wěn)定性的同時(shí)生成更清晰的法線圖。
高質(zhì)量合成數(shù)據(jù)集：DetailVerse 數(shù)據(jù)集包含復(fù)雜的幾何結(jié)構(gòu)和豐富的表面細(xì)節(jié)，有助于訓(xùn)練出更精確的模型。
Hi3DGen應(yīng)用場景
虛擬現(xiàn)實(shí)（VR）與增強(qiáng)現(xiàn)實(shí)（AR）：從 2D 圖像快速生成逼真的 3D 場景和物體模型。
游戲開發(fā)：用于從概念圖或現(xiàn)有 2D 資產(chǎn)快速生成游戲中的 3D 模型。
建筑設(shè)計(jì)與可視化：從建筑圖紙或照片生成 3D 建筑模型，幫助設(shè)計(jì)師快速生成設(shè)計(jì)效果。
影視特效與動(dòng)畫制作：快速生成復(fù)雜的 3D 場景和道具模型，節(jié)省建模時(shí)間。
文化遺產(chǎn)保護(hù)：從文物照片生成高保真 3D 模型，用于數(shù)字化保存和展示。
Hi3DGen如何使用？
訪問Hi3DGen在線演示：https://huggingface.co/spaces/Stable-X/Hi3DGen
上傳單張或多張圖片
點(diǎn)擊”Generate Shape”按鈕，然后等待生成
使用”Export Mesh”功能導(dǎo)出不同格式的3D素材
項(xiàng)目主頁：https://stable-x.github.io/Hi3DGen/
在線演示：https://huggingface.co/spaces/Stable-X/Hi3DGen
GitHub代碼庫：https://github.com/Stable-X/Hi3DGen
論文：https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf
