Wonder Journey，只需要1張圖片或段文字描述就可以創(chuàng)建3D場(chǎng)景動(dòng)畫，這是一個(gè)用于永久場(chǎng)景生成的模塊化框架，由斯坦福大學(xué)和谷歌聯(lián)手打造，是一項(xiàng)突破性項(xiàng)目。

Wonder Journey網(wǎng)址體驗(yàn)入口：https://kovenyu.com/wonderjourney

與之前專注于單一類型場(chǎng)景的視圖生成工作不同， 我們從用戶提供的任何位置（通過文本描述或圖像）開始， 并通過一長(zhǎng)串不同但連貫相連的 3D 場(chǎng)景生成旅程。 我們利用LLM來生成這個(gè)旅程中場(chǎng)景的文本描述， 文本驅(qū)動(dòng)的點(diǎn)云生成管道，用于制作引人入勝且連貫的 3D 場(chǎng)景， 每個(gè)場(chǎng)景都充滿多樣性且緊密相連，以及一個(gè)大型 VLM，用于驗(yàn)證生成的場(chǎng)景。 我們?cè)诟鞣N場(chǎng)景類型和風(fēng)格中展示引人注目的、多樣化的視覺效果，形成想象中的“奇妙旅程”。

Wonder Journey 的獨(dú)特之處在于它可以靈活地從任何位置啟動(dòng)，無論是圖像還是文本描述。這開啟了一場(chǎng)“奇妙之旅”——沿著相機(jī)軌跡的一系列 3D 場(chǎng)景，展示了多樣化但相互關(guān)聯(lián)的景觀。

從任意位置（由文本或圖像指定）開始，Wonder Journey 生成一系列 沿著相機(jī)軌跡的多樣化但連貫相連的 3D 場(chǎng)景（即“奇妙之旅”）。 我們使用來回的攝像機(jī)軌跡來渲染“奇妙之旅”。

Wonder Journey 可以合成長(zhǎng)篇“wonder journeys”。 將鼠標(biāo)懸停在視頻上可暫停自動(dòng)滑動(dòng)。

從同一位置開始，Wonder Journey 可以生成 一系列多樣化的“奇妙之旅”，在不同的目的地結(jié)束。我們使用相機(jī)姿勢(shì)的軌跡來渲染下面的每個(gè)視頻。 將鼠標(biāo)懸停在視頻上可暫停自動(dòng)滑動(dòng)。

Wonder Journey 還可以生成受控的 wonder journeys 給定一系列文本描述，例如詩歌、俳句和故事摘要。 將鼠標(biāo)懸停在視頻上可暫停自動(dòng)滑動(dòng)。此功能允許用戶影響旅程的主題方向和進(jìn)展，使其不僅成為探索的工具，而且成為講故事和藝術(shù)表達(dá)的工具。