Magma：微軟推出的多模態(tài)AI代理基礎(chǔ)模型，可實(shí)現(xiàn)多場(chǎng)景代理

映技派于2025-03-12發(fā)布在Ai產(chǎn)品

Magma是什么？

Magma 是微軟推出的一款多模態(tài) ai 代理基礎(chǔ)模型，能夠處理虛擬和現(xiàn)實(shí)環(huán)境中的復(fù)雜交互，實(shí)現(xiàn)圖像字幕和問(wèn)答、視頻字幕和問(wèn)答、UI導(dǎo)航、機(jī)器人操作等多種任務(wù)。

Magma功能特點(diǎn)

多模態(tài)能力：支持圖像字幕和問(wèn)答、視頻字幕和問(wèn)答、UI 導(dǎo)航、機(jī)器人操作等任務(wù)。
數(shù)字與物理世界的交互：能夠處理虛擬和現(xiàn)實(shí)環(huán)境中的任務(wù)。
多功能性：?jiǎn)我荒Ｐ途邆渫ㄓ玫膱D像和視頻理解能力，同時(shí)能生成目標(biāo)驅(qū)動(dòng)的視覺(jué)計(jì)劃和動(dòng)作。
先進(jìn)性能：在多模態(tài)任務(wù)上表現(xiàn)出色，特別是在空間理解和推理方面。
可擴(kuò)展的預(yù)訓(xùn)練策略：能夠從未標(biāo)記的視頻中學(xué)習(xí)，具有很強(qiáng)的泛化能力。

Magma的技術(shù)原理

多模態(tài)預(yù)訓(xùn)練：結(jié)合圖像、視頻和動(dòng)作數(shù)據(jù)，通過(guò)統(tǒng)一框架進(jìn)行大規(guī)模預(yù)訓(xùn)練，學(xué)習(xí)跨模態(tài)的連接。
Set-of-Mark (SoM)：標(biāo)記圖像中的可操作對(duì)象，幫助模型實(shí)現(xiàn)動(dòng)作落地。
Trace-of-Mark (ToM)：標(biāo)記視頻中物體的運(yùn)動(dòng)軌跡，增強(qiáng)時(shí)間動(dòng)態(tài)理解能力。
視覺(jué)與語(yǔ)言結(jié)合：使用卷積網(wǎng)絡(luò)將視覺(jué)信息編碼為標(biāo)記序列，與語(yǔ)言模型結(jié)合，生成動(dòng)作或語(yǔ)言描述。
泛化與微調(diào)：預(yù)訓(xùn)練后的模型具備零樣本泛化能力，可通過(guò)微調(diào)進(jìn)一步提升性能。
跨任務(wù)適應(yīng)：適用于多種任務(wù)（如UI導(dǎo)航、機(jī)器人操作、圖像和視頻理解），展現(xiàn)出強(qiáng)大的泛化能力。

Magma的技術(shù)原理.jpg

安裝與使用

克隆項(xiàng)目：

git clone https://github.com/microsoft/Magma.git
cd Magma

安裝依賴(lài)：

conda create -n magma python=3.10 -y
conda activate magma
pip install --upgrade pip
pip install -e .

推理例子

from PIL import Image
import torch
from transformers import AutoModelForCausalLM, AutoProcessor
model = AutoModelForCausalLM.from_pretrained("microsoft/Magma-8B", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("microsoft/Magma-8B", trust_remote_code=True)
model.to("cuda")
image = Image.open("example.jpg").convert("RGB")
convs = [
    {"role": "system", "content": "You are an agent that can see, talk and act."},
    {"role": "user", "content": "\nWhat is in the image?"}
]
prompt = processor.tokenizer.apply_chat_template(convs, tokenize=False, add_generation_prompt=True)
inputs = processor(images=[image], texts=prompt, return_tensors="pt").to("cuda")
with torch.inference_mode():
    generate_ids = model.generate(**inputs)
response = processor.decode(generate_ids[0], skip_special_tokens=True).strip()
print(response)