昆侖萬維于2025年2月14日推出了Matrix-Zero世界模型，成為國內第一家同時推出3D場景生成和可交互視頻生成模型的公司。

該世界模型包括兩款子模型：一個是3D場景生成模型，3D場景生成大模型可以將用戶輸入的圖片轉化為可自由探索的真實3D場景，具備全局一致性、支持不同風格的圖片輸入和風格遷移，并能生成動態(tài)物理效果。另一個是可交互視頻生成大模型，支持用戶實時輸入生成互動視頻效果，并提供精準的視角控制。

Matrix-Zero功能特征

3D場景生成大模型：

• 輸入轉化：將用戶輸入的圖片轉化為可自由探索的真實合理的3D場景。

• 全局一致性：生成的3D場景在360度環(huán)視后保持一致，無前后不一致現(xiàn)象。

• 自由探索：支持在場景中進行任意方向的長距離、大范圍探索。

• 風格遷移：支持不同風格圖片輸入，并能生成不同風格的3D場景。

• 動態(tài)場景生成：支持光照效果、水花動態(tài)、云霧動態(tài)等物理效果的生成。

可交互視頻生成大模型：

• 用戶輸入驅動：以用戶輸入為核心驅動，生成可交互的空間智能視頻。

• 精確控制：具備更精準控制的action model，支持用戶通過鍵盤和鼠標進行視角和動作控制。

• 流暢體驗：通過滑動窗口機制優(yōu)化控制體驗，減少輸入延遲，提高交互流暢性。

• 多類型輸入處理：包含離散運動控制模塊、連續(xù)視角控制模塊和3D場景位置追蹤模塊，處理不同類型的用戶輸入。

Matrix-Zero應用場景

• 3D游戲開發(fā)：提供可控、快速的3D場景建模，提升游戲開發(fā)效率。

• 影視制作：支持電影/短劇場景鏡頭生成，提供更多創(chuàng)作可能性。

• 具身智能：快速搭建模擬場景，提升具身智能的訓練和應用效率。

• 虛擬環(huán)境和交互式應用：提供沉浸式體驗，拓展在虛擬環(huán)境和交互式應用中的應用場景。

• ai多矩陣產品：賦能公司AI游戲生產、AI短劇生產和編輯等業(yè)務，提升生產力。

空間智能，是AI下一個里程碑，何謂空間智能？在AI教母李飛飛看來，空間智能不僅僅是讓AI看見世界，還要讓AI理解三維世界，并具備與之互動的能力，最終實現(xiàn)與現(xiàn)實世界的深度交互。

Matrix-Zero預計將于2025年4月上線，并首先應用于昆侖萬維的AI游戲生產和AI短劇制作等業(yè)務線。