AnyDoor，由香港大學(xué)、阿里巴巴和螞蟻集團(tuán)聯(lián)合研發(fā)AnyDoor，可以將一張照片上的任何物品傳送到另一張圖片的世界中。

AnyDoor項目地址：https://damo-vilab.github.io/AnyDoor-Page/

AnyDoor在線演示地址：https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoor功能：

• 對象移動：AnyDoor 可以應(yīng)用于對象移動等花哨的任務(wù)。

• 對象交換：AnyDoor 也可以擴(kuò)展為進(jìn)行對象交換。

• 虛擬試妝：AnyDoor還可以作為虛擬試妝的簡單但強(qiáng)大的基準(zhǔn)。它可以保留不同衣服的顏色、圖案和紋理，而無需復(fù)雜的人工解析。

• 多主體合成:：由于 AnyDoor 具有高度可控性，可將對象放置在給定場景的特定位置，因此很容易擴(kuò)展到多主題構(gòu)圖。

AnyDoor使用場景：

• 在虛擬試穿應(yīng)用中，用戶可以將選定的衣物快速定制到自己的照片中。

• 在物體移動應(yīng)用中，用戶可以將目標(biāo)物體從一張照片移動到另一張照片中的指定位置。

• 在設(shè)計領(lǐng)域中，用戶可以將自己設(shè)計的家具或裝飾品定制到不同的室內(nèi)場景中，以獲得更直觀的效果預(yù)覽。

AnyDoor是一種基于擴(kuò)散的圖像生成器，能夠以和諧的方式將目標(biāo)物體傳送到用戶指定位置的新場景。 我們的模型不是為每個對象調(diào)整參數(shù)，而是只訓(xùn)練一次，并在推理階段毫不費(fèi)力地泛化到不同的對象-場景組合。 如此具有挑戰(zhàn)性的零樣本設(shè)置需要對特定物體進(jìn)行充分的表征。 

為此，我們用細(xì)節(jié)特征來補(bǔ)充常用的身份特征，這些特征經(jīng)過精心設(shè)計，以保持紋理細(xì)節(jié)，同時允許多種局部變化（例如，照明、方向、姿勢等），支持物體與不同環(huán)境的有利融合。 我們進(jìn)一步建議從視頻數(shù)據(jù)集中借用知識，在那里我們可以觀察到單個物體的各種形式（即沿時間軸），從而實現(xiàn)更強(qiáng)的模型泛化性和魯棒性。 

大量的實驗證明了我們的方法優(yōu)于現(xiàn)有的替代方案，以及它在實際應(yīng)用中的巨大潛力，如虛擬試妝和物體移動。