提交您的產(chǎn)品 
Ai應用
Ai資訊
AI生圖
AI生視頻
開源AI應用平臺Embodied-Reasoner：浙江大學和阿里巴巴達摩院等機構聯(lián)合提出的一個開源的多模態(tài)具身模型
Embodied-Reasoner是什么？
Embodied-Reasoner是由中科院軟件所、浙江大學和阿里巴巴達摩院等機構聯(lián)合提出的一個開源的多模態(tài)具身模型，它可以將深度推理能力擴展到具身交互任務中。能夠處理復雜的具身任務，例如在 ai2-THOR 模擬器中搜索隱藏物體、操縱和運輸物品等。
Embodied-Reasoner核心特點
深度推理能力：具備分析、空間推理、反思、規(guī)劃等多種推理能力。
多模態(tài)交互處理能力：能夠處理長序列的圖像-文本交互上下文。
環(huán)境交互能力：可以自主觀察環(huán)境、探索房間并找到隱藏物體。
開源模型和數(shù)據(jù)集：
提供 7B 和 2B 兩種大小的開源模型。
數(shù)據(jù)集包含 9.3k 交互式的觀察-推理-行動軌跡，涵蓋 64K 圖像和 8M 思考標記。
Embodied-Reasoner技術亮點
任務和軌跡引擎：自動合成連貫的“觀察-思考-行動”軌跡，覆蓋 107 種多樣化的室內(nèi)場景，如廚房和客廳，涉及 2,100 個交互對象和 2,600 個容器。
長鏈思考與多樣化思考模式：包括分析、空間推理、反思、規(guī)劃和驗證等，這些連貫的圖像-文本交錯軌跡增強了其空間和時間推理能力。
迭代訓練流程：結合模仿學習、自我探索調(diào)整和自我修正調(diào)整的三階段迭代訓練流程。
交互式評估框架：包含 809 個測試用例，覆蓋 12 種新穎場景，評估模型在指令理解、關鍵動作和最終狀態(tài)方面的表現(xiàn)。
Embodied-Reasoner性能表現(xiàn)
成功率（Success Rate）：衡量任務是否成功完成。
搜索效率（Search Efficiency）：評估任務效率，步驟越多效率越低。
任務完整性（Task Completeness）：計算預測動作中屬于關鍵動作的比例。
Embodied-Reasoner應用案例
模擬器實驗：Embodied-Reasoner 展現(xiàn)出自發(fā)的思考行為，例如分析環(huán)境狀態(tài)、反思遺漏細節(jié)、基于最新觀察進行推理以及回憶線索進行高效規(guī)劃。相比之下，缺乏思考能力的通用 VLM 在長時域交互任務中表現(xiàn)不佳，容易忘記任務或重復搜索。
真實世界實驗：在真實環(huán)境中，Embodied-Reasoner 能夠排除干擾，最終找到目標物體并完成任務，而 OpenAI 的 o3-mini 模型則無法制定合理計劃。
Embodied-Reasoner使用指南
訓練
1. 安裝依賴：
conda create -n llama-factory python=3.11 conda activate llama-factory git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" pip install wandb accelerate deepspeed importlib-metadata
2. 數(shù)據(jù)準備：參考 data/README.md 文件了解數(shù)據(jù)集文件的格式。
3. 運行訓練腳本：運行訓練腳本。
評估
1. 安裝依賴：
conda create -n embodied-reasoner python=3.9 conda activate embodied-reasoner pip install -r requirements.txt
2. 運行評估腳本：運行評估腳本。
數(shù)據(jù)引擎
TaskGenerate.py：合成任務模板和對應的關鍵動作。
o1StyleGenerate.py和 o1StyleGenerate_ordered.py：分別為 10 種不同子任務類型合成軌跡，后者用于合成更復雜的順序?qū)ο筠D(zhuǎn)移任務。
相關鏈接
GitHub項目主頁：https://github.com/zwq2018/embodied_reasoner
Hugging Face 數(shù)據(jù)集：https://huggingface.co/datasets/embodied_reasoner
Arxiv 論文：https://arxiv.org/abs/2503.21696
