Cradle是什么？

Cradle是一個通用計算機控制（General Computer Control, GCC）的多模態(tài)ai框架，由昆侖萬維、北京智源人工智能研究院等機構(gòu)聯(lián)合推出。它通過屏幕截圖作為輸入，鍵盤和鼠標操作作為輸出，使AI代理能夠像人類一樣直接控制計算機完成各種任務(wù)。Cradle具備信息收集、自我反思、任務(wù)推斷、技能策劃、動作規(guī)劃和記憶管理等核心功能，能夠廣泛應(yīng)用于游戲、日常軟件操作和專業(yè)軟件操作等場景。

Cradle核心功能

• 信息收集：從屏幕圖像和音頻中提取多模態(tài)信息，用于決策。

• 自我反思：評估先前行動的成功與否，分析失敗原因，以指導(dǎo)后續(xù)行動。

• 任務(wù)推斷：根據(jù)當前環(huán)境和歷史信息，推斷并選擇最佳的下一個任務(wù)。

• 技能策劃：生成和更新與給定任務(wù)相關(guān)的技能，以適應(yīng)不同的計算機操作需求。

• 動作規(guī)劃：為鍵盤和鼠標控制生成具體操作，將策略轉(zhuǎn)化為可執(zhí)行的命令。

• 記憶與知識管理：擁有長期和短期記憶系統(tǒng)，存儲過去的經(jīng)驗和技能，在需要時進行檢索和應(yīng)用。

Cradle應(yīng)用場景

• 游戲環(huán)境：如《荒野大鏢客2》《星露谷物語》《城市天際線》等。

• 日常軟件操作：如瀏覽器、郵件客戶端、辦公軟件等。

• 專業(yè)軟件操作：如圖形設(shè)計或視頻編輯軟件。

Cradle技術(shù)原理

• 多模態(tài)輸入處理：接收并處理屏幕圖像和音頻的多模態(tài)輸入，模擬人類感知方式理解計算機界面和環(huán)境。

• 信息提取與理解：利用大型多模態(tài)模型（如GPT-4V）識別圖像中的視覺元素、文本信息和音頻中的指令或反饋。

• 自我反思機制：通過反思模塊評估之前執(zhí)行動作是否成功，并分析失敗原因。

• 任務(wù)推斷與規(guī)劃：確定當前的優(yōu)先任務(wù)，并制定出新動作完成任務(wù)。

• 技能生成與更新：根據(jù)當前任務(wù)生成新的技能或更新現(xiàn)有技能。

Cradle特點

• 通用性：不依賴任何內(nèi)部API，能夠與任意開閉源軟件交互。

• 強大的推理能力：基于大型語言模型，能夠進行復(fù)雜任務(wù)規(guī)劃和執(zhí)行。

• 自我改進：通過自我反思機制不斷優(yōu)化性能。

• 技能積累：可以逐步積累和復(fù)用各種操作技能。

Cradle已成功應(yīng)用于《荒野大鏢客2》、《星露谷物語》、《城市：天際線》等游戲，以及Chrome瀏覽器、Outlook郵箱等軟件。

Cradle相關(guān)鏈接

Cradle項目主頁：https://baai-agents.github.io/Cradle/

Cradle代碼倉庫：https://github.com/BAAI-Agents/Cradle

Cradle論文：https://arxiv.org/abs/2403.03186