Wonder Journey
Wonder Journey簡(jiǎn)介
Wonder Journey,只需要1張圖片或段文字描述就可以創(chuàng)建3D場(chǎng)景動(dòng)畫,這是一個(gè)用于永久場(chǎng)景生成的模塊化框架,由斯坦福大學(xué)和谷歌聯(lián)手打造,是一項(xiàng)突破性項(xiàng)目。
Wonder Journey網(wǎng)址體驗(yàn)入口:https://kovenyu.com/wonderjourney
與之前專注于單一類型場(chǎng)景的視圖生成工作不同, 我們從用戶提供的任何位置(通過文本描述或圖像)開始, 并通過一長(zhǎng)串不同但連貫相連的 3D 場(chǎng)景生成旅程。 我們利用LLM來生成這個(gè)旅程中場(chǎng)景的文本描述, 文本驅(qū)動(dòng)的點(diǎn)云生成管道,用于制作引人入勝且連貫的 3D 場(chǎng)景, 每個(gè)場(chǎng)景都充滿多樣性且緊密相連,以及一個(gè)大型 VLM,用于驗(yàn)證生成的場(chǎng)景。 我們?cè)诟鞣N場(chǎng)景類型和風(fēng)格中展示引人注目的、多樣化的視覺效果,形成想象中的“奇妙旅程”。

Wonder Journey 的獨(dú)特之處在于它可以靈活地從任何位置啟動(dòng),無論是圖像還是文本描述。這開啟了一場(chǎng)“奇妙之旅”——沿著相機(jī)軌跡的一系列 3D 場(chǎng)景,展示了多樣化但相互關(guān)聯(lián)的景觀。
從任意位置(由文本或圖像指定)開始,Wonder Journey 生成一系列 沿著相機(jī)軌跡的多樣化但連貫相連的 3D 場(chǎng)景(即“奇妙之旅”)。 我們使用來回的攝像機(jī)軌跡來渲染“奇妙之旅”。
Wonder Journey 可以合成長(zhǎng)篇“wonder journeys”。 將鼠標(biāo)懸停在視頻上可暫停自動(dòng)滑動(dòng)。
從同一位置開始,Wonder Journey 可以生成 一系列多樣化的“奇妙之旅”,在不同的目的地結(jié)束。我們使用相機(jī)姿勢(shì)的軌跡來渲染下面的每個(gè)視頻。 將鼠標(biāo)懸停在視頻上可暫停自動(dòng)滑動(dòng)。
Wonder Journey 還可以生成受控的 wonder journeys 給定一系列文本描述,例如詩歌、俳句和故事摘要。 將鼠標(biāo)懸停在視頻上可暫停自動(dòng)滑動(dòng)。此功能允許用戶影響旅程的主題方向和進(jìn)展,使其不僅成為探索的工具,而且成為講故事和藝術(shù)表達(dá)的工具。
提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺(tái)









