SceneSplat 是斯坦福大學(xué)和谷歌聯(lián)合開發(fā)的開源 3D 場景理解工具，主要讓 3D 高斯模型聽懂人類語言指令，實現(xiàn)從文字到 3D 場景的轉(zhuǎn)換。

SceneSplat技術(shù)原理

• 端到端視覺語言預(yù)訓(xùn)練架構(gòu)：通過同時學(xué)習(xí)語言描述和對應(yīng)的 3D 場景，讓模型聽懂自然語言指令并轉(zhuǎn)化成 3D 場景。比如輸入“把書架放在靠窗的墻邊”，模型能自動識別關(guān)鍵信息并準(zhǔn)確放到三維空間里。

• 跨模態(tài)特征對齊：把 3D 高斯表示和視覺語言模型結(jié)合，通過多尺度特征提取和跨模態(tài)注意力機(jī)制，提升對復(fù)雜語言指令的理解能力。

• 自監(jiān)督學(xué)習(xí)方案：能從未標(biāo)記的場景里學(xué)到更多 3D 特征。

SceneSplat數(shù)據(jù)集

• SceneSplat - 7K：首個室內(nèi)場景大規(guī)模 3DGS 數(shù)據(jù)集，有 7916 個場景，來自 ScanNet 和 Matterport3D 等七個現(xiàn)有數(shù)據(jù)集。生成這個數(shù)據(jù)集大約需要在 L4 GPU 上運(yùn)行 150 天。

• SceneSplat - 49K：包含多種來源的室內(nèi)外場景，是目前最全的開源數(shù)據(jù)集，有復(fù)雜且高質(zhì)量的完整場景級別 3DGS 重建內(nèi)容，能推動可泛化 3DGS 場景理解發(fā)展。

SceneSplat優(yōu)勢與特點(diǎn)

• 集成語義理解：首次在 3D 高斯模型里實現(xiàn)語義理解應(yīng)用，突破了傳統(tǒng) 3D 圖形系統(tǒng)處理語義的局限。

• 原生運(yùn)行在 3DGS 上：是首個能在 3DGS 上直接運(yùn)行的大規(guī)模 3D 室內(nèi)場景理解方法，避免了傳統(tǒng)方法數(shù)據(jù)轉(zhuǎn)換時的信息損失和計算延遲。

• 高效泛化能力：在開放詞匯和語義分割測試中達(dá)到了當(dāng)前最優(yōu)效果。

SceneSplat應(yīng)用場景

• AR/VR：能實時處理 3D 點(diǎn)云，用自然語言回答問題并精準(zhǔn)定位，讓 AR/VR 交互更自然。

• 自動駕駛：幫自動駕駛系統(tǒng)更好理解復(fù)雜 3D 環(huán)境，提高決策準(zhǔn)確性和安全性。

• 智能機(jī)器人：讓機(jī)器人聽懂人類指令，更精準(zhǔn)完成任務(wù)。

• 3D 游戲開發(fā)：通過自然語言指令快速生成復(fù)雜 3D 環(huán)境，提升開發(fā)效率和游戲世界的動態(tài)生成能力。

相關(guān)資源

• 論文鏈接：https://arxiv.org/abs/2503.18052

• 項目主頁：https://unique1i.github.io/SceneSplat_webpage/

• 數(shù)據(jù)集：https://huggingface.co/datasets/GaussianWorld/scene_splat_7k