Project Astra: Google DeepMind 研發(fā)的一個(gè)具備視頻理解能力的原型
Project Astra 是由 Google DeepMind 研發(fā)的一個(gè)研究原型,它具備視頻理解能力,并且能夠通過用戶的設(shè)備攝像頭和麥克風(fēng)提供日常生活的幫助。在 Google I/O 2024 大會(huì)上,Google DeepMind 的首席執(zhí)行官 Demis Hassabis 宣布了 Project Astra。

Project Astra 是 Google 推出的一個(gè)多模態(tài) ai 項(xiàng)目,旨在開發(fā)一個(gè)能夠?qū)崟r(shí)解釋用戶攝像頭畫面中物品的 AI 助手
Project Astra 的功能特征:
多模態(tài)交互:Project Astra 允許用戶通過語音、文本、繪圖、拍照和視頻等多種方式與之交互,提供了一個(gè)全面的交互體驗(yàn)。
實(shí)時(shí)識(shí)別與記憶:Astra 能夠在不間斷的視頻中識(shí)別物品,并回憶起物品的位置。例如,它能夠識(shí)別眼鏡并指出它在桌子上的位置(靠近一個(gè)紅蘋果)。
代碼解釋:Astra 還能夠解釋屏幕上的代碼,這表明它能夠處理和理解復(fù)雜的視覺信息。
本地運(yùn)行:Project Astra 基于 Gemini,可以本地運(yùn)行在 Pixel 手機(jī)上,這表明它具有較高的處理速度和較低的延遲。
增強(qiáng)現(xiàn)實(shí)和人機(jī)交互:Project Astra 在增強(qiáng)現(xiàn)實(shí)和人機(jī)交互方面取得了重大進(jìn)步,它讓設(shè)備不僅僅是獲取信息的工具,而是能夠理解和參與我們?nèi)粘I畹幕锇?span style="text-indent: 2em;">。
企業(yè)級(jí)存儲(chǔ)和數(shù)據(jù)服務(wù):值得注意的是,Project Astra 也被用作 NetApp 的一個(gè)項(xiàng)目名稱,該項(xiàng)目旨在為 Kubernetes 提供企業(yè)級(jí)存儲(chǔ)和數(shù)據(jù)服務(wù)平臺(tái)。
與 OpenAI 的競(jìng)爭(zhēng):Google 的 Project Astra 與 OpenAI 的 GPT-4o 有相似之處,兩者都在 AI 助手領(lǐng)域有相似的愿景,并且都在爭(zhēng)奪相同的市場(chǎng)。
未來展望:Project Astra 的目標(biāo)是將技術(shù)嵌入到手機(jī)和可穿戴設(shè)備中,成為我們?nèi)粘I钪袩o處不在的助手。盡管目前 Astra 還處于原型階段,但它已經(jīng)展示了其在實(shí)時(shí)交互和多模態(tài)理解方面的潛力。
Project Astra 使用用戶設(shè)備上的攝像頭和麥克風(fēng),通過持續(xù)處理和編碼視頻幀和語音輸入,創(chuàng)建事件的時(shí)間線并緩存信息以便快速回憶。這使得 AI 能夠識(shí)別物體、回答問題,并記住它曾經(jīng)看到過但已經(jīng)不在攝像頭視野中的事物。
Google 表示,盡管 Project Astra 目前仍處于早期階段,并且沒有具體的發(fā)布計(jì)劃,但該公司暗示,這些能力中的一些可能會(huì)在今年晚些時(shí)候集成到像 Gemini 應(yīng)用這樣的產(chǎn)品中(以一個(gè)名為 "Gemini Live" 的特性),這將是開發(fā)有用 AI 助手的重要一步。Google CEO Sundar Pichai 表示,這是為了創(chuàng)造一個(gè)具有“代理性”的代理,能夠“代表你思考、推理和規(guī)劃”。
提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺(tái)










