URM是什么？

URM（Universal Recommendation Model）是阿里媽媽發(fā)布的電商推薦模型。該模型是一種世界知識大模型，阿里媽媽希望基于LLM 構建兼顧世界知識和電商知識的大模型，來解決傳統(tǒng)LLM在電商推薦場景中表現(xiàn)欠佳的問題：一是大模型在電商領域缺乏專業(yè)知識，二是用戶歷史行為信息輸入冗長、密度低。URM將 LLM 的世界知識與電商專業(yè)知識結合，實現(xiàn)用戶興趣的深度理解和精準推薦。

URM核心特點

• 知識注入與信息對齊：URM通過知識注入和信息對齊，將LLM的通用知識與電商領域的專業(yè)知識相結合。

• 多模態(tài)融合：引入多模態(tài)融合的商品表征，結合商品的ID表征和語義表征（如文本、圖像等），提升商品的表達能力和推薦的準確性。

• 高效的Sequence-In-Set-Out生成方式：通過用戶建模頭（hUM）和語言模型頭（hLM）分別生成用戶表征和文本輸出，能夠在單次前向傳播中生成高質(zhì)量的推薦集合。

• 多任務處理能力：支持多場景推薦、多目標推薦、長尾推薦、發(fā)現(xiàn)性推薦等多種任務。

• 零樣本學習能力：能夠快速適應新任務和新場景，即使在沒有大量標注數(shù)據(jù)的情況下也能提供有效的推薦。

URM技術原理

• 多模態(tài)融合表征：通過ID表征和語義表征的對齊融合，生成多模態(tài)商品嵌入向量。

• 任務定義與提示工程：基于文本來定義不同的推薦任務，并通過設計不同的提示模板調(diào)整推薦結果的分布。

• 訓練方式：結合商品推薦任務的噪聲對比估計（NCE）損失和文本生成任務的負對數(shù)似然損失，采用完整參數(shù)的有監(jiān)督微調(diào)（SFT），僅凍結商品的原始表征。

URM應用效果

URM已經(jīng)在阿里媽媽的展示廣告場景中上線，明顯提升了商家廣告投放效果和消費者購物體驗。比如，對于一個對嵌入式家電和收納用品有過歷史行為的用戶，URM能夠推測用戶可能在關注裝修且處于硬裝的早期階段，并推薦全屋定制類產(chǎn)品和高品質(zhì)家電。此外，URM還能結合用戶的歷史興趣和特定的文字引導，生成更符合當前情境的推薦結果。

URM性能表現(xiàn)

在離線實驗中，URM使用多任務融合數(shù)據(jù)集訓練，并在生產(chǎn)數(shù)據(jù)集上取得了平均11.0%的Recall提升，在6個子任務（共9個任務）中都超越了線上使用Target-Attention結構的傳統(tǒng)推薦模型。

URM應用場景

• 個性化商品推薦：用戶瀏覽電商平臺時，系統(tǒng)根據(jù)用戶的歷史行為和偏好，推薦符合用戶興趣的商品。比如，對于一個經(jīng)常購買運動裝備的用戶，URM可以推薦最新的運動鞋、運動服裝和健身器材。

• 多場景推薦：URM支持多場景推薦任務，能夠根據(jù)用戶當前所在的頁面和行為上下文，生成與場景相關的推薦。比如，在首頁推薦熱門商品，在分類頁推薦相關類別的商品，在搜索結果頁提供與搜索詞高度相關的商品。

• 搜索增強：URM可以將搜索問題視為一個推薦任務，通過提示模板將用戶的歷史行為和搜索詞結合起來，生成更精準的搜索結果。例如，用戶搜索“夏季連衣裙”，URM可以根據(jù)用戶的歷史偏好推薦適合夏季的連衣裙款式。

• 興趣推薦：URM可以通過提示模板和多模態(tài)融合模塊，捕捉用戶的長期興趣，并生成與長期興趣相關的推薦。比如，對于一個經(jīng)常購買科技產(chǎn)品的用戶，URM可以推薦即將上市的新款電子產(chǎn)品。

• 長尾商品推薦：RM可以通過特定的提示模板，生成包含長尾商品的推薦列表。比如，對于一個喜歡小眾音樂的用戶，URM可以推薦一些小眾音樂相關的商品，如限量版唱片或音樂周邊。

ArXiv技術論文：https://arxiv.org/pdf/2502.03041