提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開(kāi)源AI應(yīng)用平臺(tái)AnimeGamer：通過(guò)多模態(tài)大語(yǔ)言模型實(shí)現(xiàn)無(wú)限動(dòng)漫生活模擬
AnimeGamer是什么？
AnimeGamer 是騰訊PCG ARC實(shí)驗(yàn)室和香港城市大學(xué)聯(lián)合推出的多模態(tài)大語(yǔ)言模型項(xiàng)目。它通過(guò)語(yǔ)言指令生成動(dòng)態(tài)動(dòng)畫片段，模擬動(dòng)漫角色的互動(dòng)與游戲世界。玩家可實(shí)時(shí)更新角色狀態(tài)，體驗(yàn)多輪交互，感受沉浸式動(dòng)漫生活。AnimeGamer只要應(yīng)用在游戲、故事創(chuàng)作、教育等場(chǎng)景上。
AnimeGamer功能特點(diǎn)
動(dòng)態(tài)動(dòng)畫生成：能夠生成動(dòng)態(tài)動(dòng)畫片段，展示角色的動(dòng)作和行為。
角色狀態(tài)更新：系統(tǒng)會(huì)根據(jù)游戲狀態(tài)更新角色的體力、社交和娛樂(lè)值。
多輪交互：支持多輪游戲狀態(tài)生成，玩家可以通過(guò)語(yǔ)言指令與游戲世界進(jìn)行持續(xù)互動(dòng)。
上下文一致性：生成的游戲狀態(tài)在視覺(jué)和語(yǔ)義上保持一致性，確保玩家的沉浸感。
AnimeGamer工作原理
動(dòng)畫片段編碼與解碼：使用動(dòng)畫片段編碼器將動(dòng)畫片段編碼為動(dòng)作感知的多模態(tài)表示，然后通過(guò)基于視頻擴(kuò)散模型的解碼器將這些表示解碼為高質(zhì)量的視頻片段。
游戲狀態(tài)預(yù)測(cè)：利用 MLLM 預(yù)測(cè)每個(gè)游戲狀態(tài)的多模態(tài)表示，輸入包括歷史動(dòng)畫片段表示和當(dāng)前指令。MLLM 輸出包括動(dòng)態(tài)動(dòng)畫片段和角色狀態(tài)更新。
解碼器自適應(yīng)訓(xùn)練：通過(guò)自適應(yīng)訓(xùn)練階段，優(yōu)化解碼器以生成高質(zhì)量的視頻片段，減少生成視頻中的偽影。
AnimeGamer應(yīng)用場(chǎng)景
動(dòng)漫角色互動(dòng)游戲：玩家可以扮演動(dòng)漫電影中的角色，通過(guò)語(yǔ)言指令與游戲世界互動(dòng)。
故事創(chuàng)作與可視化：可用于創(chuàng)作和可視化故事，生成連貫的動(dòng)畫片段，支持多輪交互。
教育與培訓(xùn)：在教育和培訓(xùn)場(chǎng)景中，可以生成動(dòng)態(tài)的模擬環(huán)境，幫助學(xué)生更好地理解和參與學(xué)習(xí)內(nèi)容。
娛樂(lè)與互動(dòng)體驗(yàn)：可用于開(kāi)發(fā)新的娛樂(lè)和互動(dòng)體驗(yàn)，如虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用。
AnimeGamer使用教程
1. 下載AnimeGamer和Mistral-7B的檢查點(diǎn)，并保存在./checkpoints文件夾中。
2. 設(shè)置推理環(huán)境，運(yùn)行以下命令：
git clone https://github.com/TencentARC/AnimeGamer.git cd AnimeGamer conda create -n animegamer python==3.10 -y conda activate animegamer pip install -r requirements.txt
3. 生成動(dòng)作感知的多模態(tài)表示并更新角色狀態(tài)：
python inference_Decoder.py
4. 修改./game_demo中的指令來(lái)自定義游戲體驗(yàn)。
相關(guān)鏈接
項(xiàng)目主頁(yè)：https://howe125.github.io/AnimeGamer.github.io
GitHub：https://github.com/TencentARC/AnimeGamer
模型：https://huggingface.co/TencentARC/AnimeGamer
論文：https://arxiv.org/abs/2504.01014
