今天，我們發(fā)布了穩(wěn)定版 Zero123，這是我們內(nèi)部訓(xùn)練的模型，用于生成視圖條件圖像。與之前最先進(jìn)的 Zero123-XL 相比，穩(wěn)定的 Zero123 產(chǎn)生了顯著改善的結(jié)果。這是通過 3 項(xiàng)關(guān)鍵創(chuàng)新實(shí)現(xiàn)的：

1、改進(jìn)的訓(xùn)練數(shù)據(jù)集，從 Objaverse 中大量過濾，只保留高質(zhì)量的 3D 對(duì)象，我們渲染的對(duì)象比以前的方法更加真實(shí)。

2、在訓(xùn)練和推理過程中，我們?yōu)槟Ｐ吞峁┝斯烙?jì)的攝像機(jī)角度。這種海拔調(diào)節(jié)使其能夠做出更明智、更高質(zhì)量的預(yù)測(cè)。

3、預(yù)先計(jì)算的數(shù)據(jù)集（預(yù)先計(jì)算的潛在變量）和改進(jìn)的數(shù)據(jù)加載器支持更高的批量大小，與第一個(gè)創(chuàng)新相結(jié)合，與 Zero123-XL 相比，訓(xùn)練效率提高了 40 倍。

Zero123特征：

穩(wěn)定的 Zero123 可以生成物體的新穎視圖，展示從各個(gè)角度對(duì)物體外觀的 3D 理解，由于訓(xùn)練數(shù)據(jù)集和高程條件的改進(jìn)，其質(zhì)量比 Zero1-to-3 或 Zero123-XL 顯著提高。

該模型基于穩(wěn)定擴(kuò)散 1.5，消耗與 SD1.5 相同數(shù)量的 VRAM 來生成 1 個(gè)新視圖。使用 Stable Zero123 生成 3D 對(duì)象需要更多時(shí)間和內(nèi)存（建議使用 24GB VRAM）。

為了實(shí)現(xiàn) 3D 對(duì)象生成方面的開放研究，我們改進(jìn)了 Threestudio 開源代碼的開源代碼，以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的簡(jiǎn)化版本目前處于私人預(yù)覽階段。從技術(shù)角度來說，這使用分?jǐn)?shù)蒸餾采樣 (SDS) 來使用穩(wěn)定的 Zero123 模型來優(yōu)化 NeRF，稍后我們可以從中創(chuàng)建紋理 3D 網(wǎng)格。該過程可以適用于文本到 3D 生成，首先使用 SDXL 生成單個(gè)圖像，然后使用 Stable Zero123 生成 3D 對(duì)象。

Zero123項(xiàng)目：https://github.com/cvlab-columbia/zero123

Zero123試用：https://huggingface.co/spaces/cvlab/zero123-live

Zero123論文：https://arxiv.org/abs/2303.11328

該模型現(xiàn)已發(fā)布在 Hugging Face 上，研究人員和非商業(yè)用戶可以下載并進(jìn)行實(shí)驗(yàn)。