視界一粟YiSu是由北京極佳視界科技有限公司聯(lián)合清華大學(xué)自動化系共同發(fā)布的Sora級、高性價比、端側(cè)可用的 Sora 級視頻生成大模型視界一粟 YiSu。視界一粟YiSu基于自研技術(shù)，融合了LLM和擴散模型，展現(xiàn)出強大的多模態(tài)融合能力。2024年6月11日，在奇績創(chuàng)壇路演日上正式發(fā)布。

視界一粟YiSu項目網(wǎng)址：https://world-dreamer.github.io/

Github地址：https://github.com/JeffWang987/WorldDreamer

視界一粟YiSu功能：

• 超長時長：模型原生支持16秒的視頻生成，并且可以擴展至1分鐘以上。

• 高性能表現(xiàn)：具備超大運動范圍、超強表現(xiàn)力，并且能夠理解物理世界，這使得生成的視頻更加逼真和自然。

• 端側(cè)可用：模型可以在終端設(shè)備上直接運行，不需要云端支持。

• 懂物理世界：模型能夠理解和模擬物理世界的規(guī)律

• 低成本與高效率：YiSu模型在運行成本上更低，同時在推理速度上更快，且適用于端側(cè)設(shè)備。

• 持續(xù)迭代與優(yōu)化：該模型將按照每周一個小版本、每月一個大版本的迭代速度進行快速成長和進化，未來幾個月內(nèi)將在視頻時長、可控性、推理速度、運行成本、理解物理世界等方面迎來大幅度的提升。

視界一粟YiSu技術(shù)特點

• 自研架構(gòu)：融合LLM和擴散模型的自研架構(gòu)，結(jié)合多種技術(shù)路線的優(yōu)勢。

• 多模態(tài)融合：在多模態(tài)數(shù)據(jù)處理方面進行了優(yōu)化。

• 訓(xùn)練效率和推理效率：模型在訓(xùn)練和推理效率上進行了優(yōu)化。

• 模型效果：在視頻質(zhì)量和效果上進行了優(yōu)化。

視界一粟 YiSu應(yīng)用場景：

娛樂與媒體：

動畫制作：自動生成動畫序列，加快動畫制作流程。

音樂視頻：創(chuàng)造獨特的音樂視頻內(nèi)容。

特效制作：生成電影和電視劇中的特效鏡頭。

教育與培訓(xùn)：

互動教學(xué)：制作互動式的教學(xué)視頻，提高學(xué)習(xí)體驗。

模擬實驗：創(chuàng)建虛擬實驗室環(huán)境，進行科學(xué)實驗演示。

廣告與營銷：

廣告創(chuàng)意：快速生成吸引人的廣告視頻。

產(chǎn)品展示：制作詳細(xì)的產(chǎn)品介紹和演示視頻。

社交網(wǎng)絡(luò)：

用戶生成內(nèi)容：幫助用戶輕松制作高質(zhì)量的社交媒體視頻。

虛擬偶像：創(chuàng)建虛擬人物進行直播或互動。

電子商務(wù)：

商品展示：生成商品的360度展示視頻。

客戶反饋：模擬用戶對產(chǎn)品的使用和評價。

自動駕駛與機器人：

仿真訓(xùn)練：為自動駕駛系統(tǒng)和機器人提供模擬訓(xùn)練數(shù)據(jù)。

環(huán)境感知：增強車輛和機器人對周圍環(huán)境的理解。

游戲開發(fā)：

游戲預(yù)告片：自動生成游戲預(yù)告片和宣傳視頻。

游戲內(nèi)容生成：創(chuàng)造游戲內(nèi)的動畫和劇情內(nèi)容。

虛擬現(xiàn)實（VR）與增強現(xiàn)實（AR）?：

VR內(nèi)容制作：為虛擬現(xiàn)實應(yīng)用提供豐富的視覺內(nèi)容。

AR體驗增強：增強增強現(xiàn)實應(yīng)用中的視覺效果。

安全監(jiān)控：

事件模擬：模擬安全事件，用于訓(xùn)練和教育。

視頻分析：增強視頻監(jiān)控系統(tǒng)的分析能力。

醫(yī)療健康：

醫(yī)學(xué)教育：制作醫(yī)學(xué)解剖和手術(shù)過程的教學(xué)視頻。

患者教育：為患者提供疾病和治療的可視化解釋。

北京極佳視界科技有限公司是一家專注于ai大模型的初創(chuàng)公司，公司核心成員來自清華、中科院等知名院校以及微軟、阿里、百度等知名公司，擁有業(yè)內(nèi)領(lǐng)先的AI技術(shù)和應(yīng)用經(jīng)驗。