獵戶星空大模型Orion-14B-Base是一個具有140億參數(shù)的多語種大模型，該模型在一個包含2.5萬億token的多樣化數(shù)據(jù)集上進(jìn)行了訓(xùn)練，涵蓋了中文、英語、日語、韓語等多種語言。在多語言環(huán)境下的一系列任務(wù)中展現(xiàn)出卓越的性能。在主流的公開基準(zhǔn)評測中，Orion-14B系列模型表現(xiàn)優(yōu)異，多項指標(biāo)顯著超越同等參數(shù)基本的其他模型。

開源地址:

https://github.com/OrionStarai/Orion

https://huggingface.co/OrionStarAI

獵戶星空大模型Orion-14B系列大模型有以下幾個特點：

• 基座20B參數(shù)級別大模型綜合評測效果表現(xiàn)優(yōu)異

• 多語言能力強，在日語、韓語測試集上顯著領(lǐng)先

• 微調(diào)模型適應(yīng)性強，在人類標(biāo)注盲測中，表現(xiàn)突出

• 長上下文版本支持超長文本，在200k token長度上效果優(yōu)異，最長可支持可達(dá)320k

• 量化版本模型大小縮小70%，推理速度提升30%，性能損失小于1%

具體而言，獵戶星空大模型Orion-14B系列大語言模型包含：

• Orion-14B-Base： 基于2.5萬億tokens多樣化數(shù)據(jù)集訓(xùn)練處的140億參數(shù)量級的多語言基座模型。

• Orion-14B-Chat： 基于高質(zhì)量語料庫微調(diào)的對話類模型，旨在為大模型社區(qū)提供更好的用戶交互體驗。

• Orion-14B-LongChat： 在200k token長度上效果優(yōu)異，最長可支持可達(dá)320k，在長文本評估集上性能比肩專有模型。

• Orion-14B-Chat-RAG： 在一個定制的檢索增強生成數(shù)據(jù)集上進(jìn)行微調(diào)的聊天模型，在檢索增強生成任務(wù)中取得了卓越的性能。

• Orion-14B-Chat-Plugin： 專門針對插件和函數(shù)調(diào)用任務(wù)定制的聊天模型，非常適用于使用代理的相關(guān)場景，其中大語言模型充當(dāng)插件和函數(shù)調(diào)用系統(tǒng)。

• Orion-14B-Base-Int4： 一個使用int4進(jìn)行量化的基座模型。它將模型大小顯著減小了70%，同時提高了推理速度30%，僅引入了1%的最小性能損失。

• Orion-14B-Chat-Int4： 一個使用int4進(jìn)行量化的對話模型。

獵戶星空（OrionStar）是一家全球領(lǐng)先的服務(wù)機器人解決方案公司，成立于2016年9月。獵戶星空致力于基于人工智能技術(shù)打造下一代革命性機器人，使人們能夠擺脫重復(fù)的體力勞動，使人類的工作和生活更加智能和有趣，通過技術(shù)使社會和世界變得更加美好。

獵戶星空擁有完全自主開發(fā)的全鏈條人工智能技術(shù)，如語音交互和視覺導(dǎo)航。它整合了產(chǎn)品開發(fā)能力和技術(shù)應(yīng)用能力。基于Orion機械臂平臺，它推出了ORION STAR AI機器人問候、AI機器人問候迷你、Lucki、咖啡 Master等產(chǎn)品，并建立了Orion機器人的開放平臺OrionOS。通過為 真正有用的機器人而生 的理念實踐，它通過AI技術(shù)為更多人賦能。

憑借7年AI經(jīng)驗積累，獵戶星空已推出的大模型深度應(yīng)用"聚言"，并陸續(xù)面向行業(yè)客戶提供定制化AI大模型咨詢與服務(wù)解決方案，真正幫助客戶實現(xiàn)企業(yè)經(jīng)營效率領(lǐng)先同行目標(biāo)。

獵戶星空具備全鏈條大模型應(yīng)用能力的核心優(yōu)勢，包括擁有從海量數(shù)據(jù)處理、大模型預(yù)訓(xùn)練、二次預(yù)訓(xùn)練、微調(diào)（Fine-tune）、Prompt Engineering 、Agent開發(fā)的全鏈條能力和經(jīng)驗積累;擁有完整的端到端模型訓(xùn)練能力，包括系統(tǒng)化的數(shù)據(jù)處理流程和數(shù)百張GPU的并行模型訓(xùn)練能力，現(xiàn)已在大政務(wù)、云服務(wù)、出海電商、快消等多個行業(yè)場景落地。