紫東太初，中科院自動(dòng)化所和武漢人工智能研究院推出新一代大模型，從三模態(tài)走向全模態(tài)，支持多輪問答、文本創(chuàng)作、圖像生成、3D理解、信號(hào)分析等全面問答任務(wù)，擁有更強(qiáng)的認(rèn)知、理解、創(chuàng)作能力，帶來全新互動(dòng)體驗(yàn)。

紫東太初大模型2.0可以做什么

中科院自動(dòng)化所和武漢人工智能研究院推出新一代大模型，從三模態(tài)走向全模態(tài)，支持多輪問答、文本創(chuàng)作、圖像生成、3D理解、信號(hào)分析等全面問答任務(wù)，擁有更強(qiáng)的認(rèn)知、理解、創(chuàng)作能力，帶來全新互動(dòng)體驗(yàn)。

文本創(chuàng)作

能準(zhǔn)確理解用戶意圖，并生成語意連貫、邏輯通順的文本內(nèi)容。覆蓋常見的各類型文本創(chuàng)作業(yè)務(wù)場景如：寫文章讀后感、崗位招聘JD、信件郵件、邀請(qǐng)函、行程規(guī)劃等等。

知識(shí)問答

能準(zhǔn)確理解用戶輸入的問題語境，并實(shí)時(shí)地做出對(duì)應(yīng)的知識(shí)性問答。包括：生活常識(shí)、工作技能、醫(yī)學(xué)知識(shí)、歷史人文等等。

圖文音理解

視覺-文本-語音，更關(guān)注圖文音三模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)特性，對(duì)更廣泛、更多樣的下游任務(wù)提供模型基礎(chǔ)支撐。

音樂生成

可以通過給定的文本提示可控生成高保真的音樂，并支持即興創(chuàng)作多種風(fēng)格類型和多種樂器演奏的音樂。

3D理解

基于點(diǎn)云數(shù)據(jù)的3D場景理解和物體感知能力。

信號(hào)分析

支持雷達(dá)信號(hào)鑒別與知識(shí)交互，可借助模型快速掌握信號(hào)基本來源及參數(shù)等。

紫東太初大模型功能總覽

“紫東太初2.0” 旨在追求以更全面的問答能力、更豐富的表達(dá)能力、多輪多模態(tài)問答能力，滿足更多復(fù)雜業(yè)務(wù)場景下的對(duì)話和創(chuàng)作需求。

1、圖像能力

圖像描述能力說明：“紫東太初2.0” 能基于用戶上傳的圖片素材，準(zhǔn)確理解并回答圖片識(shí)別類問題，具體地，可以識(shí)別圖像主體、背景、動(dòng)作、顏色等等。同時(shí)支持上下文信息理解和多輪問答。

示例指令：

上傳一張圖片，然后發(fā)送 “請(qǐng)描述一下這張圖片里面有什么”

上傳一張圖片，然后發(fā)送 “請(qǐng)描述一下這張圖片里面有哪些顏色”

2、目標(biāo)檢測

能力說明：“紫東太初2.0” 支持豐富品類的目標(biāo)檢測任務(wù)，能夠判定目標(biāo)類型、數(shù)量和對(duì)應(yīng)的位置信息。

示例指令：

上傳一張圖片，然后發(fā)送“圖片中有幾個(gè)人物”

上傳一張圖片，然后發(fā)送“幫我看看圖片中有幾種類型的動(dòng)物”

3、圖像檢索

能力說明：“紫東太初2.0” 擁有海量的高質(zhì)圖片素材庫，能為用戶搜索出關(guān)聯(lián)度高的精致圖片素材。

示例指令：

“幫我找一張櫻花盛開圖”

“幫我找一幅上海夜景圖”

“汽車長什么樣子呢，給我看看圖片”

4、圖像生成

能力說明：“紫東太初2.0” 能基于用戶指令訴求生成對(duì)應(yīng)的精致圖片，并可以修改描述微調(diào)圖片內(nèi)容。Promote描述小技巧：添加具象的主體特性描述有助于定位到核心場景內(nèi)容，添加風(fēng)格或其他特性修飾詞描述有助于調(diào)整圖片整體效果。

示例指令：

“畫一幅唯美風(fēng)格的櫻花盛開圖”

“生成一張小狗在草地上玩耍的照片”

“幫我畫一幅老虎在游泳的圖片”

5、文字識(shí)別

能力說明：“紫東太初2.0” 能支持多場景、多語種、高精度的文字檢測與識(shí)別服務(wù)，具體業(yè)務(wù)場景包括：卡證文字識(shí)別、票據(jù)文字識(shí)別、文檔圖像處理等等。

示例指令：

上傳一張圖，然后發(fā)送“圖中有什么文字”

上傳一張圖，然后發(fā)送“幫我識(shí)別出圖片中的所有文字”

6、語言能力

中文問答

能力說明：“紫東太初2.0” 能準(zhǔn)確理解用戶輸入的問題語境，并能做出準(zhǔn)確的知識(shí)性問答。包括：生活常識(shí)、工作技能、醫(yī)學(xué)知識(shí)、歷史人文等等。

示例指令：

“考你一下，四大名著有哪些”

“請(qǐng)問一下，世界上最高的山峰是哪一座”

“什么是胃病，有哪些常見的類型和治療方法？”

“怎樣安排個(gè)人財(cái)務(wù)和預(yù)算規(guī)劃？”

7、文本摘要

能力說明：“紫東太初2.0” 能快速理解文章的核心觀點(diǎn)，根據(jù)長文本提取簡潔而準(zhǔn)確的摘要。

示例指令：

“幫我提取文章的摘要”+ 輸入文章內(nèi)容

“幫我把這篇文章改得精簡一些”+ 輸入文章內(nèi)容

8、文本續(xù)寫

能力說明：“紫東太初2.0” 能基于用戶輸入的故事引導(dǎo)自動(dòng)續(xù)寫豐富故事內(nèi)容。

示例指令：

“請(qǐng)續(xù)寫故事：從前，山上住著3個(gè)老和尚”

9、文本創(chuàng)作

能力說明：“紫東太初2.0” 能準(zhǔn)確理解用戶輸入意圖,并生成語意連貫、邏輯通順的文本內(nèi)容。覆蓋常見的各類型文本創(chuàng)作業(yè)務(wù)場景如：寫文章讀后感、崗位招聘JD、信件郵件、邀請(qǐng)函、行程規(guī)劃等等。

示例指令：

“幫我寫一個(gè)200字人工智能大模型發(fā)布會(huì)的新聞稿”

“寫一篇互聯(lián)網(wǎng)ai產(chǎn)品經(jīng)理招聘JD”

“寫一篇《三體》的讀后感”

“請(qǐng)幫我出一份武漢3日游的行程規(guī)劃”

“寫一封給武漢市政府的感謝信”

10、標(biāo)題生成

能力說明：“紫東太初2.0” 能基于對(duì)文章或者長文本的理解，快速聚合生成精簡且概括的標(biāo)題文案。

示例指令：

“請(qǐng)給這篇文章生成一個(gè)標(biāo)題：”+ 輸入文章內(nèi)容

11、語法分析

能力說明：“紫東太初2.0” 能基于用戶上傳的中英文文本素材，準(zhǔn)確理解并分析句子的語法，提醒語法錯(cuò)誤并修改等等。

示例指令：

請(qǐng)把句子修改成正確的語法表達(dá)“張總經(jīng)理和李總工程師正在討論一個(gè)技術(shù)改造項(xiàng)目，他同意他的看法。”

請(qǐng)指出句子中的錯(cuò)誤，并把它改成正確的表達(dá)“A number of students is going to learn a foreign language.”