首頁(yè) > Ai資訊 > Ai產(chǎn)品

Matrix-Game：昆侖萬(wàn)維正式開(kāi)源的17B+交互式世界基礎(chǔ)模型

昆侖萬(wàn)維于2025-05-14發(fā)布在Ai產(chǎn)品

Matrix-Game是什么？

Matrix-Game是昆侖萬(wàn)維在2025年5月13日正式開(kāi)源的17B+交互式世界基礎(chǔ)模型，也是工業(yè)界首個(gè)開(kāi)源的10B+空間智能大模型。

screenshot (8).webp

交互式世界生成：Matrix-Game是一個(gè)面向游戲世界建模的交互式世界基礎(chǔ)模型，用戶可以通過(guò)簡(jiǎn)單的鍵盤指令、鼠標(biāo)移動(dòng)等操作，自由探索、操控甚至創(chuàng)造出細(xì)節(jié)豐富、物理規(guī)則合理的虛擬世界。
高精度控制：在控制性能上，Matrix-Game可實(shí)現(xiàn)“運(yùn)動(dòng)”“攻擊”等動(dòng)作高達(dá)90%+準(zhǔn)確率，在細(xì)粒度視角控制下依然保持高精度響應(yīng)。
多場(chǎng)景泛化能力：Matrix-Game在8大典型Minecraft場(chǎng)景中全面領(lǐng)先，展現(xiàn)出卓越的環(huán)境適應(yīng)性與泛化能力，有潛力泛化到非Minecraft游戲環(huán)境。
自回歸式長(zhǎng)視頻生成：支持自回歸式的長(zhǎng)視頻生成，實(shí)現(xiàn)動(dòng)作與視角之間的絲滑銜接，確保時(shí)間一致性與環(huán)境適應(yīng)性。
系統(tǒng)化評(píng)估：提出了統(tǒng)一的GameWorldScore標(biāo)準(zhǔn)，從視頻的視覺(jué)質(zhì)量、時(shí)序質(zhì)量、動(dòng)作可控性與物理規(guī)則理解四個(gè)維度全面量化模型性能。

Matrix-Game-MC數(shù)據(jù)集：自主構(gòu)建的大規(guī)模交互世界數(shù)據(jù)集，包含大規(guī)模無(wú)標(biāo)簽的Minecraft游戲視頻和帶有鍵盤與鼠標(biāo)控制信號(hào)的Minecraft與Unreal可控視頻數(shù)據(jù)，具備精細(xì)的動(dòng)作注釋。
Matrix-Game主模型：基于先進(jìn)的擴(kuò)散模型技術(shù)，構(gòu)建了一個(gè)從圖像到世界的生成框架，能夠根據(jù)用戶的輸入生成連貫且可控的互動(dòng)視頻。
GameWorldScore評(píng)測(cè)體系：從視頻的視覺(jué)質(zhì)量、時(shí)序質(zhì)量、動(dòng)作可控性和物理規(guī)則理解四個(gè)維度全面量化模型性能，填補(bǔ)了該領(lǐng)域缺乏系統(tǒng)性評(píng)測(cè)基準(zhǔn)的空白。

兩階段訓(xùn)練策略：第一階段利用大規(guī)模無(wú)標(biāo)簽的Minecraft游戲視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，讓模型學(xué)習(xí)環(huán)境的基本特征和動(dòng)態(tài)規(guī)律；第二階段用帶有鍵盤與鼠標(biāo)控制信號(hào)的Minecraft與Unreal可控視頻數(shù)據(jù)進(jìn)行細(xì)粒度的可控訓(xùn)練，讓模型根據(jù)用戶的輸入生成相應(yīng)的交互式視頻。
圖像到世界建模：以單張參考圖像作為生成交互式視頻的起點(diǎn)，不依賴語(yǔ)言提示，基于視覺(jué)信號(hào)建?？臻g幾何、物體運(yùn)動(dòng)及其物理交互。
自回歸式視頻生成：支持自回歸方式擴(kuò)展生成長(zhǎng)度，每次用前一視頻片段的最后幾幀作為運(yùn)動(dòng)上下文，逐段遞進(jìn)生成，確保時(shí)間上的連貫性。訓(xùn)練中引入隨機(jī)擾動(dòng)、隨機(jī)刪除及Classifier-freeguidance策略，緩解時(shí)序漂移和誤差累積。
可控交互設(shè)計(jì)：鍵盤動(dòng)作用離散token表達(dá)，視角移動(dòng)動(dòng)作用連續(xù)token表達(dá)，基于GameFactory的控制模塊，融入多模態(tài)DiffusionTransformer架構(gòu)，用Classifier-freeguidance策略提升對(duì)控制信號(hào)的魯棒響應(yīng)能力。

Matrix-Game技術(shù)原理.jpg

虛擬游戲世界快速搭建：通過(guò)模型的可控生成能力，可低成本、高效率地創(chuàng)建多樣化、結(jié)構(gòu)合理的游戲地圖與交互環(huán)境，提升關(guān)卡設(shè)計(jì)與任務(wù)構(gòu)建的自由度。
影視與元宇宙內(nèi)容生產(chǎn)：支持高保真、物理一致的動(dòng)態(tài)場(chǎng)景合成，為沉浸式體驗(yàn)開(kāi)發(fā)與創(chuàng)意內(nèi)容生成提供通用世界建?；A(chǔ)。
具身智能體訓(xùn)練與數(shù)據(jù)生成：盡管當(dāng)前模型未直接用于具身智能，但Matrix-Game具備生成大規(guī)模交互視頻的能力，具備擴(kuò)展至具身智能體訓(xùn)練與評(píng)估的潛力，可以為智能體創(chuàng)建多樣復(fù)雜的虛擬環(huán)境，幫助助其任務(wù)執(zhí)行與推理能力的提升。

細(xì)粒度用戶交互控制：支持多種細(xì)節(jié)操作，能根據(jù)用戶輸入準(zhǔn)確自然地響應(yīng)。
高保真視覺(jué)與物理一致性：生成結(jié)果視覺(jué)連貫且遵循物理規(guī)律。
多場(chǎng)景泛化能力：對(duì)多種 Minecraft 游戲場(chǎng)景有泛化能力，且有向非 Minecraft 游戲環(huán)境泛化的潛力。
系統(tǒng)化評(píng)估體系：GameWorld Score 標(biāo)準(zhǔn)為模型的客觀評(píng)估與持續(xù)優(yōu)化提供有力支撐。