阿里云發(fā)布Qwen2開源模型

阿里云于2024-06-07發(fā)布在Ai產(chǎn)品

阿里云發(fā)布Qwen 2開源模型.jpg

阿里云發(fā)布Qwen 2開源模型，性能超越目前所有開源模型和國內(nèi)閉源模型。

Qwen 2 模型涵蓋多種尺寸，包括 0.5B、1.5B、7B、57B-A14B 和 72B 5 種大小版本，Qwen 2模型在同尺寸模型的測評中，都獲得了超越所有開源模型的成績。CompassArena 大模型競技場上體驗了下，確實是很強，應(yīng)該是目前中文方面非常優(yōu)秀的了。

Qwen 2功能特征：

5種尺寸的預(yù)訓(xùn)練和指令調(diào)優(yōu)模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B；
除英語和中文外，還接受過 27 種語言的數(shù)據(jù)培訓(xùn)；
在大量基準(zhǔn)評估中表現(xiàn)最先進；
顯著提高編碼和數(shù)學(xué)表現(xiàn)；
Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 的擴展上下文長度支持高達 128K 令牌。

比較評估表明，相對于 Qwen1.5，大型模型（70B+ 參數(shù)）的性能得到了顯著增強。這里我們評測的重點是大尺寸型號Qwen2-72B。在基礎(chǔ)語言模型方面，Qwen2-72B和最先進的開放模型針對不同的能力進行了評估，包括自然語言理解、知識獲取、編碼能力、數(shù)學(xué)技能和多語言能力。受益于精心策劃的數(shù)據(jù)集和優(yōu)化的訓(xùn)練方法，Qwen2-72B 與 Llama-3-70B 等領(lǐng)先模型相比表現(xiàn)出卓越的性能。值得注意的是，盡管參數(shù)較少，但它的性能超越了其前身 Qwen1.5-110B。

經(jīng)過廣泛的大規(guī)模預(yù)訓(xùn)練，我們進行后訓(xùn)練，以進一步增強 Qwen 的智能，使其更接近人類。這一過程進一步提高了模型在編碼、數(shù)學(xué)、推理、指令遵循、多語言理解等領(lǐng)域的能力。此外，它將模型的輸出與人類價值觀保持一致，確保它是有幫助的、誠實的和無害的。我們的訓(xùn)練后階段的設(shè)計遵循可擴展訓(xùn)練的原則，并且需要最少的人工注釋。具體來說，我們研究如何通過各種自動對齊策略來獲取高質(zhì)量、可靠、多樣化和創(chuàng)造性的演示數(shù)據(jù)和偏好數(shù)據(jù)，例如數(shù)學(xué)的拒絕采樣、編碼和指令遵循的執(zhí)行反饋、創(chuàng)意寫作的反向翻譯、對角色扮演等可擴展的監(jiān)督。在培訓(xùn)方面，我們采用了監(jiān)督微調(diào)、獎勵模型培訓(xùn)和在線DPO培訓(xùn)相結(jié)合的方式。我們還采用了一種新穎的在線合并優(yōu)化器來最大限度地減少對齊稅。這些集體努力顯著提高了我們模型的能力和智能，如下表所示。