OmniSVG是什么？

OmniSVG是由復旦大學和StepFun聯(lián)合推出的開源多模態(tài)SVG生成模型，能夠通過文本、圖像或角色參考生成高質(zhì)量矢量圖形，于2025年4月9日正式發(fā)布。

OmniSVG技術原理

OmniSVG 基于預訓練的視覺-語言模型（VLM）Qwen-VL 構建，并創(chuàng)新性地集成了 SVG 標記化器。通過將 SVG 命令和坐標參數(shù)化為離散的令牌（tokens），OmniSVG 成功地將矢量圖形的結構邏輯與低級幾何細節(jié)解耦。這種設計不僅提高了訓練效率，還將訓練速度提升了3倍以上，同時保留了生成復雜 SVG 結構的能力。

OmniSVG生成模式

• 文本生成SVG：用戶可以通過自然語言描述生成語義相關的矢量圖形，例如輸入“坐在櫻花樹下的卡通貓”。

• 圖像生成SVG：自動將位圖（如照片或手繪草圖）轉(zhuǎn)換為由路徑組成的矢量圖形，保留原始圖像的視覺特征，同時獲得可編輯性。

• 角色參考SVG：基于現(xiàn)有角色圖像生成具有相同角色特征但姿勢或場景不同的矢量圖形，對動畫和游戲角色設計特別有價值。

數(shù)據(jù)集與評估協(xié)議

為了推動 SVG 生成技術的發(fā)展，OmniSVG 團隊發(fā)布了 MMSVG-2M 數(shù)據(jù)集。這是一個包含200萬個豐富注釋的 SVG 資源的多模態(tài)數(shù)據(jù)集，涵蓋圖標、插圖和角色三大子集。此外，他們還提出了一個標準化的評估協(xié)議 MMSVG-Bench，用于測試條件 SVG 生成任務的性能。

OmniSVG優(yōu)勢

• 與傳統(tǒng)方法相比，OmniSVG 克服了以往 SVG 生成技術的一些核心難題：

• 傳統(tǒng)方法往往生成結構松散、計算成本高昂的結果，或者局限于單色、過于簡化的圖標。

• OmniSVG 通過端到端的多模態(tài)生成框架，顯著提升了生成質(zhì)量和復雜性，能夠生成色彩豐富、細節(jié)生動的矢量圖形。

OmniSVG應用場景

• 適用于UI/UX設計、動漫角色創(chuàng)作、工業(yè)CAD等場景

• 生成SVG可直接編輯，支持無限放大不失真

項目地址：https://omnisvg.github.io/

代碼倉庫：https://github.com/OmniSVG/OmniSVG

論文地址：https://arxiv.org/pdf/2504.06263