北京大學(xué)和中國人民大學(xué)的研究團(tuán)隊在人形機(jī)器人動作生成方面取得了重要進(jìn)展。他們開發(fā)了一個名為 Being-M0 的通用動作生成框架，并創(chuàng)建了首個規(guī)模達(dá)百萬級的動作生成數(shù)據(jù)集 MotionLib。這個數(shù)據(jù)集通過創(chuàng)新的數(shù)據(jù)處理流程和詳細(xì)的標(biāo)注方法，提取出高質(zhì)量的動作數(shù)據(jù)，支持多種數(shù)據(jù)形式。研究結(jié)果表明，利用大量數(shù)據(jù)和強(qiáng)大模型可以有效提升動作生成效果。團(tuán)隊還提出了 MotionBook 這種新的動作編碼方法，進(jìn)一步優(yōu)化了動作生成效果。此外，他們通過結(jié)合優(yōu)化和學(xué)習(xí)的方法，將人體動作高效地應(yīng)用到多種人形機(jī)器人上，為人形機(jī)器人的發(fā)展提供了有力支持。

數(shù)據(jù)集 MotionLib

• 規(guī)模與標(biāo)注：MotionLib 是業(yè)界首個百萬規(guī)模的動作生成數(shù)據(jù)集，包含超過120萬段動作序列，并配有分層且詳細(xì)的文本標(biāo)注。該數(shù)據(jù)集通過系統(tǒng)性地從公開數(shù)據(jù)集和在線平臺收集超過2000萬段人體動作視頻，并開發(fā)了一套創(chuàng)新的數(shù)據(jù)處理流水線。

• 數(shù)據(jù)優(yōu)化：為提升數(shù)據(jù)質(zhì)量，團(tuán)隊使用預(yù)訓(xùn)練模型進(jìn)行2D人體關(guān)鍵點估計，并通過置信度閾值篩選，再利用先進(jìn)模型生成高精度3D關(guān)鍵點數(shù)據(jù)。此外，還訓(xùn)練了基于強(qiáng)化學(xué)習(xí)的策略來優(yōu)化原始動作，使其更符合物理規(guī)律。

動作編碼方法 MotionBook

• 二維無查找量化：提出 MotionBook，將動作序列建模為單通道二維“動作圖像”，分別在時間軸和關(guān)節(jié)軸構(gòu)建獨(dú)立編碼空間，完整保留運(yùn)動的多維結(jié)構(gòu)特征。這種方法顯著擴(kuò)展了動作編碼器的容量，無需查找對應(yīng)token，提升了動作表示的效率。

模型 Being-M0

• 性能與規(guī)模效應(yīng)：基于 MotionLib 和 MotionBook，Being-M0 展現(xiàn)了顯著的規(guī)模效應(yīng)，驗證了“大數(shù)據(jù)+大模型”在動作生成領(lǐng)域的技術(shù)可行性。在同等數(shù)據(jù)條件下，模型容量與生成質(zhì)量呈顯著正相關(guān)，13B參數(shù)的LLaMA-2模型相較700M參數(shù)的GPT2，在動作多樣性和語義對齊精度等核心指標(biāo)上均實現(xiàn)突破。

• 跨平臺動作遷移：創(chuàng)新融合優(yōu)化與學(xué)習(xí)方法，實現(xiàn)了動作數(shù)據(jù)向多款人形機(jī)器人的高效遷移，顯著提升了跨平臺運(yùn)動適配能力。

項目鏈接

項目地址：https://beingbeyond.github.io/Being-M0/

論文鏈接：https://arxiv.org/abs/2410.03311

Github：https://github.com/BeingBeyond/Being-M0