Google 發(fā)布了 PaliGemma 2 Mix，一個(gè)集圖像描述、OCR、問(wèn)答、目標(biāo)檢測(cè)和分割于一身的開(kāi)源視覺(jué)語(yǔ)言模型 。目的通過(guò)其多任務(wù)處理能力和靈活的模型選擇，推動(dòng)視覺(jué)語(yǔ)言任務(wù)的進(jìn)步。PaliGemma 2 Mix模型結(jié)合了多種輸入分辨率的支持，提供方便的微調(diào)選項(xiàng)，使它適合在多種實(shí)際場(chǎng)景中應(yīng)用。

PaliGemma 2 Mix功能特征

• 多模態(tài)處理能力：PaliGemma 2 Mix能夠處理多種任務(wù)，包括短文本和長(zhǎng)文本描述、光學(xué)字符識(shí)別 (OCR)、圖像問(wèn)答、目標(biāo)檢測(cè)和圖像分割等。

• 模型規(guī)模和分辨率的靈活性：提供3B、10B和28B參數(shù)的不同模型規(guī)模，以及224px和448px的分辨率選擇，滿足不同任務(wù)需求。

• 開(kāi)發(fā)者友好：兼容主流框架如Hugging Face Transformers、Keras、PyTorch、JAX和Gemma.cpp，便于開(kāi)發(fā)者使用和微調(diào)。

• 直接應(yīng)用性：用戶可以直接利用該模型進(jìn)行任務(wù)，無(wú)需復(fù)雜的微調(diào)過(guò)程，實(shí)現(xiàn)了“開(kāi)箱即用”的便捷性。

• 跨模態(tài)特征融合：結(jié)合SigLIP圖像編碼器和Gemma-2B語(yǔ)言模型，通過(guò)線性投影層實(shí)現(xiàn)圖像與文本特征的有效融合，提升了模型的多模態(tài)理解能力。

PaliGemma 2 Mix應(yīng)用場(chǎng)景

• 圖像識(shí)別與描述：自動(dòng)生成圖像的詳細(xì)描述，適用于社交媒體、內(nèi)容管理和搜索引擎優(yōu)化。

• 視覺(jué)問(wèn)答(VQA)：在教育和娛樂(lè)應(yīng)用中，回答用戶關(guān)于圖像內(nèi)容的問(wèn)題。

• 光學(xué)字符識(shí)別(OCR)：識(shí)別圖像中的文字，用于文檔數(shù)字化、歷史文獻(xiàn)存檔和自動(dòng)數(shù)據(jù)提取。

• 科學(xué)問(wèn)題解答：在科學(xué)領(lǐng)域，PaliGemma 2 Mix能夠理解和回答復(fù)雜的科學(xué)問(wèn)題。

• 文本相關(guān)任務(wù)：包括文本檢測(cè)、識(shí)別、表格結(jié)構(gòu)識(shí)別、分子結(jié)構(gòu)識(shí)別、樂(lè)譜識(shí)別等。

• 電商與內(nèi)容生成：自動(dòng)為商品圖片生成描述，提高產(chǎn)品列表的吸引力。
  

PaliGemma 2 Mix使用方法

• 安裝依賴：首先需要安裝transformers庫(kù)的4.47或更高版本。

• 加載模型：使用AutoProcessor和PaliGemmaForConditionalGeneration類加載預(yù)訓(xùn)練模型。

• 圖像處理：使用PIL庫(kù)加載和處理圖像。

• 推理：將圖像和文本提示輸入模型，獲取輸出結(jié)果。

PaliGemma 2 Mix發(fā)布后，將會(huì)成開(kāi)發(fā)者手里一個(gè)強(qiáng)大又靈活的工具，在好多視覺(jué)語(yǔ)言任務(wù)里都能有很好的表現(xiàn)。不管是識(shí)別圖像、生成圖像描述，還是解答科學(xué)問(wèn)題，它都有很大的應(yīng)用潛力，用起來(lái)也很實(shí)用。

Hugging Face 演示：https://huggingface.co/spaces/google/paligemma2-10b-mix

技術(shù)論文報(bào)告：https://arxiv.org/abs/2412.03555