ClotheDreamer，一個虛擬試穿項目，可以從文本生成可穿戴3D服裝，ClotheDreamer是上海大學(xué)、上海交通大學(xué)、復(fù)旦大學(xué)和騰訊優(yōu)圖實驗室出的。

ClotheDreamer功能特征：

• 支持自定義服裝模板，實現(xiàn)多樣化、個性化3D服裝生成

• 生成的服裝可以適應(yīng)不同身材，并支持自動擬合

ClotheDreamer，一種用于文本引導(dǎo)服裝生成的新型系統(tǒng)，它使用 3D 高斯曲面 （3D GS） 對不同的服裝幾何形狀進行建模。

ClotheDreamer 允許用戶從文本描述生成 3D 服裝模型，從而實現(xiàn)更直觀、更具表現(xiàn)力的服裝設(shè)計。

ClotheDreamer利用大型語言模型和 3D 高斯曲面的強大功能來生成詳細、高質(zhì)量的服裝網(wǎng)格，以捕捉復(fù)雜的形狀和褶皺。

ClotheDreamer 這個工具允許你通過文字描述來創(chuàng)建衣服的3D模型。您無需使用復(fù)雜的 3D 建模軟件自己設(shè)計衣服，只需輸入描述，系統(tǒng)就會為您生成 3D 服裝模型。

ClotheDreamer 的關(guān)鍵創(chuàng)新是使用 3D 高斯曲面 （3D GS） 來表示服裝的形狀。高斯曲面是一種描述 3D 形狀的數(shù)學(xué)方法，可以捕捉復(fù)雜的細節(jié)，如衣服上的褶皺和懸垂。通過將這種 3D 建模技術(shù)與強大的語言模型相結(jié)合，ClotheDreamer 可以將您的文本描述轉(zhuǎn)換為高度逼真的 3D 服裝模型。

這使得設(shè)計衣服的過程更加直觀和容易獲得，因為您不需要專門的 3D 建模技能。您可以簡單地描述您心目中的服裝，ClotheDreamer 將以 3D 形式將其變?yōu)楝F(xiàn)實。這對于時裝設(shè)計師、3D 藝術(shù)家或任何想要創(chuàng)建定制服裝設(shè)計的人都很有用。

ClotheDreamer技術(shù)說明

ClotheDreamer 使用 GaussianDreamer： Fast Generation from Text to 3D 架構(gòu)，根據(jù)文本描述生成 3D 服裝模型。它利用預(yù)先訓(xùn)練的語言模型對輸入文本進行編碼，然后用于調(diào)節(jié)表示服裝幾何形狀的 3D 高斯曲面的生成。

ClotheDreamer在大型 3D 服裝模型數(shù)據(jù)集及其相應(yīng)的文本描述上進行訓(xùn)練。在推理過程中，使用語言模型對輸入文本進行編碼，此表示用于預(yù)測將形成最終服裝網(wǎng)格的 3D 高斯曲面的參數(shù)。

通過使用 3D 高斯曲面，ClotheDreamer 能夠捕捉復(fù)雜的服裝幾何形狀，包括褶皺、窗簾和其他復(fù)雜的細節(jié)。這使得系統(tǒng)能夠生成高度逼真和多樣化的服裝模型，這些模型與輸入的文本描述非常匹配。

作者還提出了對基本 ClotheDreamer 模型的擴展，包括 LAGA：通過文本生成和自定義分層 3D 頭像和著裝代碼：從文本生成服裝的自回歸縫紉，這進一步擴展了系統(tǒng)的服裝生成和定制功能。

ClotheDreamer局限性分析

ClotheDreamer 系統(tǒng)代表了文本到 3D 生成領(lǐng)域的一個令人印象深刻的進步，展示了大型語言模型和 3D 高斯曲面在直觀服裝設(shè)計方面的潛力。將自然語言描述轉(zhuǎn)換為高質(zhì)量 3D 服裝模型的能力可能會對時尚、3D 藝術(shù)和其他領(lǐng)域產(chǎn)生重大影響。

然而，本文確實承認了當(dāng)前方法的一些局限性。該系統(tǒng)在相對較小的 3D 服裝模型數(shù)據(jù)集上進行訓(xùn)練，這可能會限制其推廣到更多樣化或非常規(guī)服裝風(fēng)格的能力。此外，3D 高斯曲面表示雖然可以有效地捕獲復(fù)雜的幾何圖形，但可能并非適用于所有類型的服裝特征，例如尖銳的折痕或高度不對稱的形狀。

進一步的研究可以探索擴展數(shù)據(jù)集、改進 3D 表示以及增強系統(tǒng)處理更廣泛的服裝類型和款式的能力的方法。正如相關(guān)工作中所暗示的那樣，將 ClotheDreamer 與其他 3D 建模工具或頭像生成系統(tǒng)集成，也可以解鎖該技術(shù)的新應(yīng)用和用例。

總的來說，ClotheDreamer代表了在尋求使3D服裝設(shè)計更易于訪問和直觀方面邁出的令人興奮的一步。隨著文本到3D生成領(lǐng)域的不斷發(fā)展，像 ClotheDreamer 這樣的系統(tǒng)可能會成為設(shè)計師、藝術(shù)家和任何想要在數(shù)字領(lǐng)域?qū)⑺麄兊姆b創(chuàng)意變?yōu)楝F(xiàn)實的人越來越有價值的工具。