PaliGemma是Google開(kāi)發(fā)并發(fā)布的具有多模態(tài)功能的視覺(jué)語(yǔ)言模型（VLM）。 與其他 VLM（例如 Openai 的 GPT-4o、Google Gemini 和 Anthropic 的 Claude 3）不同，PaliGemma 具有廣泛的功能，并且能夠在特定任務(wù)上進(jìn)行微調(diào)以獲得更好的性能。

PaliGemma 與 2024 年 Google I/O 活動(dòng)上的其他產(chǎn)品一起發(fā)布，是一個(gè)基于 Google 研究的另外兩個(gè)模型的組合多模態(tài)模型：SigLIP（視覺(jué)模型）和 Gemma（大型語(yǔ)言模型），這意味著該模型是一個(gè)組合Transformer 解碼器和 Vision Transformer 圖像編碼器。它以圖像和文本作為輸入并生成文本作為輸出，支持多種語(yǔ)言。

PaliGemma 能做什么？

PaliGemma 是一種單輪視覺(jué)語(yǔ)言模型，在針對(duì)特定用例進(jìn)行微調(diào)時(shí)效果最佳。這意味著您可以輸入圖像和文本字符串，例如為圖像添加標(biāo)題的提示或問(wèn)題，PaliGemma 將輸出文本以響應(yīng)輸入，例如圖像的標(biāo)題、問(wèn)題的答案或問(wèn)題的答案。對(duì)象邊界框坐標(biāo)列表。

PaliGemma 適合執(zhí)行與 Google 發(fā)布的以下任務(wù)基準(zhǔn)測(cè)試結(jié)果相關(guān)的任務(wù)：

• 對(duì)單個(gè)任務(wù)進(jìn)行微調(diào)

• 圖片問(wèn)答和字幕

• 視頻問(wèn)答和字幕

• 分割

這意味著 PaliGemma 對(duì)于與視覺(jué)數(shù)據(jù)相關(guān)的簡(jiǎn)單且具體的問(wèn)題非常有用。

我們創(chuàng)建了一個(gè)表格，根據(jù)常見(jiàn)基準(zhǔn)報(bào)告的結(jié)果來(lái)顯示 PaliGemma 相對(duì)于其他模型的結(jié)果。

雖然基準(zhǔn)是有用的數(shù)據(jù)點(diǎn)，但它們并不能說(shuō)明全部情況。 PaliGemma 旨在進(jìn)行微調(diào)，其他模型是閉源的。為了顯示哪些選項(xiàng)可用，我們與其他無(wú)法微調(diào)的模型（通常更大）進(jìn)行比較。

值得進(jìn)行試驗(yàn)，看看使用自定義數(shù)據(jù)進(jìn)行微調(diào)是否會(huì)為您的特定用例帶來(lái)比其他模型的開(kāi)箱即用性能更好的性能。

在本文后面，我們將使用一組標(biāo)準(zhǔn)測(cè)試將 PaliGemma 與其他開(kāi)源 VLM 和 LMM 進(jìn)行比較。繼續(xù)閱讀以了解其性能。

如何微調(diào) PaliGemma

PaliGemma 令人興奮的方面之一是它能夠?qū)ψ远x用例數(shù)據(jù)進(jìn)行微調(diào)。 Google PaliGemma 團(tuán)隊(duì)發(fā)布的筆記本展示了如何在小型數(shù)據(jù)集上進(jìn)行微調(diào)。

需要注意的是，在這個(gè)示例中，僅對(duì)注意力層進(jìn)行了微調(diào)，因此性能改進(jìn)可能有限。

PaliGemma應(yīng)用

無(wú)論是使用 PaliGemma 零樣本還是根據(jù)自定義數(shù)據(jù)進(jìn)行微調(diào)，都有針對(duì) PaliGemma 優(yōu)勢(shì)量身定制的特定用例，這將為新的 AI 用例打開(kāi)大門。讓我們看一下其中的兩個(gè)。

定制應(yīng)用程序

Claude 3、Gemini 1.5 Pro 和 GPT-4o 等模型可以開(kāi)箱即用，并應(yīng)用于它們適合解決的問(wèn)題。 PaliGemmi 為閉源模型仍無(wú)法解決的用例帶來(lái)了多模式功能，因?yàn)槟梢允褂门c您的問(wèn)題相關(guān)的專有數(shù)據(jù)來(lái)微調(diào) PaliGemma。這在制造、消費(fèi)品、醫(yī)療保健和安全等行業(yè)非常有用。如果您遇到封閉模型沒(méi)有見(jiàn)過(guò)的獨(dú)特問(wèn)題，并且由于其專有性質(zhì)而永遠(yuǎn)不會(huì)看到，那么 PaliGemma 是構(gòu)建定制 AI 解決方案的一個(gè)很好的切入點(diǎn)。

OCR

如本文前面所示，PaliGemma 是一個(gè)強(qiáng)大的 OCR 模型，無(wú)需任何額外的微調(diào)。當(dāng)構(gòu)建 OCR 應(yīng)用程序以擴(kuò)展到數(shù)十億個(gè)預(yù)測(cè)時(shí)，延遲、成本和準(zhǔn)確性可能難以平衡。在 PaliGemma 之前，閉源模型是同類最佳的性能選擇，但其成本和缺乏模型所有權(quán)使得它們難以在生產(chǎn)中證明其合理性。該模型可以提供即時(shí)性能，并通過(guò)對(duì)特定數(shù)據(jù)進(jìn)行微調(diào)來(lái)隨著時(shí)間的推移進(jìn)行改進(jìn)。