FB 建議貼文

選取貼文複製成功(包含文章連結)!

NVIDIA雙系統架構GR00T N1機器人基礎開源模型:與Disney、Google合作開發Newton物理引擎

NVIDIA雙系統架構GR00T N1機器人基礎開源模型:與Disney、Google合作開發Newton物理引擎

ADVERTISEMENT

NVIDIA於GTC2025春季場發表開源、可完全自訂的GR00T N1機器人基礎模型,並著手開發Newton物理引擎,提供通用人形機器人便捷的開發環境。

雙系統主管反射、思考

NVIDIA執行長黃仁勳於GTC(GPU技術大會)2025春季場開幕演說中講解多項機器人相關的技術成果與研發趨勢,提供強大的開發環境。除了延續先前GR00T機器人開發計劃,也以開源型式推出GR00T N1機器人基礎模型,讓開發者能夠直接使用或根據需求進行微調,大幅降低從零開始訓練模型的門檻。

延伸閱讀:【GTC 2025】黃仁勳演說深入分析:提出「終極摩爾定律」,追求相同耗電更高效能

與訓練自駕車的概念相同,NVIDIA也使用Omniverse數位攣生與Cosmos生成式世界基礎模建立的合成資料訓練機器人模型,詳細說明請參考《自駕車模型訓練與蒸餾技術分析》一文。

然而與自駕車使用的模型蒸餾技術不同的是,GR00T N1模型採用雙系統架構,其靈感來自於人類的認知原理。「系統1」是快速思考的動作模型,可以類比為人類的反射或直覺動作,而「系統2」則是緩慢思考的模型,用於深思熟慮,進行有條理的決策。

搭載GR00T N1模型的機器人可以透過攝影機與多種感應器收集環境資訊,並在視覺語言模型的支援下,先以「系統2」分析接收到的指令,並進行推論運算以規劃行動,接著以「系統1」將規劃轉換為精確的機器人連續動作。

其中「系統1」的訓練除了以實際人類示範的資料做為素材之外,也大量使用由Omniverse平台產生的合成資料,提高AI模型的精確度以完成各種複雜的動作,開發者也可針對特定的人形機器人或任務,使用真實或合成資料對GR00T N1模型進行維調與後期訓練(Post-Training)。

舉例來說,GR00T N1模型能夠完用1或2隻手臂抓取、移動物品,或是將物品從一隻手臂傳到另一隻手臂,或是執行需要參考長上下文提示詞並結合多種動作的多步驟任務,進而勝任搬運材料、包裝和檢查等工作。

NVIDIA提供Omniverse與Cosmos進行模擬、GR00T N1基礎模型、Jetson Thor邊緣運算電腦等軟、硬體組合,滿足機器人開發與應用所需。

一般來說機器人的訓練資料花費相當多人力準備,例如透過動態補捉裝置將真人的動作轉換為操作指令,並做為AI模型的訓練資料。

Omniverse與Cosmos可以生成許多以真實世界為基礎的合成AI模型訓練資料,能夠大幅降低介入的人力。

開發者可以利用Omniverse建立訓練環境的數位攣生,並透過Cosmos修改部分條件,產生無數的合成資料。

GR00T N1模型可以接受感應器的數據以及使用者的文字、語音指令,先以「系統2」分析接收到的指令,並進行推論運算以規劃行動,接著以「系統1」將規劃轉換為精確的機器人連續動作。

舉例來說,GR00T N1模型能夠讓2組機器人傳遞物品,然後將拿到的物品分類擺放。

3強聯手打造開源物理引擎

NVIDIA宣布與Google DeepMind及Disney Research(迪士尼研究中心)合作開發的開源物理引擎Newton,它採用NVIDIA Warp框架開發,並且相容於Isaac Lab與Google DeepMind的MuJoCo等模擬框架,並預計導入Disney Research研發的物理引擎,支援模仿人類學習以及反覆試驗學習等多種方式,提供靈活多元的機器人訓練方式,協助開發者根據需求更新機器人技能,並以更高精準度處理複雜任務。

黃仁勳在演說尾聲帶上舞台的BDX droid機器人「Blue」就是由Disney Research立用Newton開發的成果。

對於訓練機器人使用的AI模型而言,提供大量、多樣化、高品質的資料十分重要,然而產製這類資料的成本卻不低,例如真人示範資料受限於工作者的時間,就算不眠不休每天最多也只有24小時能夠錄製示範資料。

而NVIDIA提供的Isaac GR00T Blueprint藍圖以Omniverse與Cosmos產生的合成資料為基礎(詳見自駕車訓練說明),讓開發者能已少量真人示範資料為基礎生成大量合成動作資料,有助於解決上述難題。

舉例來說使用這個藍圖,能在短短11小時生成78萬組合成軌跡,相當於6500小時(等同9個月)的真人示範資料。NVIDIA表示結合真實與合成資料,能夠較單純使用真實資料提高40% GR00T N1效能。

在使用預先訓練的GR00T N1機器人基礎模型後,可以搭配Omniverse與Cosmos產生的合成資料進行後期訓練,提高機器人動作準確度。

舉例來說,Omniverse與Cosmos可以產生多種不同方向盤與籃子的影片,讓機器人AI模型學習因應不同環境的工作需求。

NVIDIA與Google DeepMind及Disney Research共同研發的Newton物理引擎能夠應用於MoJoCo Playground,將物理效果導入訓練環境,以生成更逼真的合成資料。

黃仁勳在GTC 2025春季場開幕演說的最後將BDX droid機器人「Blue」帶上舞台。

GR00T N1訓練資料和任務評估情境現在可從Hugging FaceGitHub下載,使用者也可以在GitHub下載Isaac GR00T Blueprint,是直接在build.nvidia.com網站查看互動展示。

回到【GTC 2025】系列報導目錄

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則