“千影QianYing”是由巨人網(wǎng)絡(luò)推出的有聲游戲大模型，包含游戲視頻生成大模型YingGame和視頻配音大模型YingSound。實(shí)現(xiàn)了有聲可交互游戲視頻的生成，標(biāo)志著ai游戲領(lǐng)域的技術(shù)突破。YingGame由巨人網(wǎng)絡(luò)AI實(shí)驗(yàn)室與清華大學(xué)SATLab聯(lián)合研發(fā)，支持角色多樣動(dòng)作的交互控制，用戶可以自定義游戲角色。

千影QianYing的主要功能

• YingGame：作為游戲視頻生成大模型，它能夠創(chuàng)造開放世界游戲視頻，支持通過文本、圖像或傳統(tǒng)的鍵盤鼠標(biāo)操作來控制角色動(dòng)作，允許用戶自定義游戲角色。YingGame的強(qiáng)項(xiàng)在于角色多樣運(yùn)動(dòng)與個(gè)性化設(shè)計(jì)，以及無需傳統(tǒng)3D建模和渲染的物理模擬特性。

• YingSound：視頻配音大模型，專門用于根據(jù)視頻畫面生成匹配的音效，包括復(fù)雜環(huán)境音和角色對(duì)話，無需人工提示詞，直接從視頻內(nèi)容中提取語義進(jìn)行高精度音頻生成。YingSound的泛化能力使其適用于多種視頻類型，從真實(shí)場(chǎng)景到動(dòng)漫和游戲，提升游戲的沉浸感。

千影QianYing模型技術(shù)：

• YingGame：由巨人網(wǎng)絡(luò)AI實(shí)驗(yàn)室與清華大學(xué)SATLab聯(lián)合研發(fā)，支持角色多樣動(dòng)作的交互控制。

• YingSound：由巨人網(wǎng)絡(luò)AI實(shí)驗(yàn)室、西北工業(yè)大學(xué)ASLP Lab和浙江大學(xué)聯(lián)合研發(fā)，具備超強(qiáng)的時(shí)間對(duì)齊和視頻語義理解能力。

• 開放世界游戲：YingGame可生成開放世界游戲視頻，通過文本、圖像或鍵盤、鼠標(biāo)操作實(shí)現(xiàn)角色動(dòng)作的交互控制。

• 音效生成：YingSound能夠根據(jù)畫面生成與之匹配的復(fù)雜音效，實(shí)現(xiàn)有聲游戲視頻。

• 技術(shù)突破：千影QianYing模型展示了通過文字描述生成游戲內(nèi)容的可行性。

千影共創(chuàng)計(jì)劃

• 計(jì)劃啟動(dòng)：巨人網(wǎng)絡(luò)啟動(dòng)“千影共創(chuàng)計(jì)劃”，開放模型技術(shù)、應(yīng)用和原創(chuàng)游戲項(xiàng)目的合作。

• 合作領(lǐng)域：包括模型技術(shù)、模型應(yīng)用、原創(chuàng)游戲項(xiàng)目等方面的合作共創(chuàng)。

• 應(yīng)用落地：加速“游戲+AI”技術(shù)的應(yīng)用落地，推動(dòng)從降本增效到顛覆式創(chuàng)新的轉(zhuǎn)化。

• 人才招募：計(jì)劃中還包括人才招募，以支持技術(shù)的持續(xù)發(fā)展。

• 開放性：計(jì)劃旨在通過開放合作加速技術(shù)的成熟和應(yīng)用。

巨人網(wǎng)絡(luò)在2024年度中國游戲產(chǎn)業(yè)年會(huì)上推出了“千影 QianYing”有聲游戲生成大模型，顯示巨人網(wǎng)絡(luò)在“AI游戲”領(lǐng)域的重大技術(shù)發(fā)展。