NVIDIA 宣布於 SIGGRAPH 大會首度亮相在虛擬實境環境 Project Holodeck 中,利用 Isaac Lab 模擬器訓練出的機器人,並同時推出 VRWorks 360 Video SDK,協助全球各地內容創作者以即時串流方式向觀眾播放高畫質 360 度全景影片。
現場與會來賓不僅能在真實生活與 Isaac 機器人輪流推倒骨牌,還能戴上 VR 頭盔,透過 Holodeck 進入模擬世界進行遊戲,藉此展現 Isaac 機器人能透過現實或虛擬世界的互動進行學習,利用 AI 不斷自我修正與更新。
NVIDIA 也於現場展出最新推出的 VRWorks 360 Video SDK,利用 Z-CAM V1 PRO 與 Quadro P6000 繪圖卡製作現場360度即時全景影片串流,讓參觀者能見識實機運行的360度影片拼接功能。
親身體驗 Isaac 與 Project Holodeck
NVIDIA Isaac 是一款以 Isaac Lab 強大模擬環境進行訓練的 AI 機器人,其能幫助機器人學習精細的人機互動工作,如倒咖啡、照顧老年人、動手術以及玩骨牌等。而 Project Holodeck 則為能進行精準物理模擬並同時容納多個使用者的虛擬實境協作平台,讓人類進入模擬世界並以真實生活中的方式在 VR 環境中與機器人進行互動、調校以及測試,藉此研究人員便能以更安全、快速、低成本的方式將它們部署在真實世界中。
現場展示兩種技術如何共同運作,如在骨牌遊戲中,NVIDIA 利用深度學習結合電腦視覺,讓機器人感知人類的存在並做出回應,第一層類神經網路會根據所擷取的骨牌影像辨識遊戲進行狀態,並判斷各種符合規則的走法,接著資料傳給另一個類神經網路,利用增強學習技術判斷該選擇哪片骨牌以及置於何處。
即時360度全景拼接技術
最新 VRWorks 360 Video SDK 中的360度全景拼接技術是即時製片與現場轉播產業的大躍進,不僅能加速全景影片拼接流程還能維持高品質影像畫素,讓製作公司、相機廠商與 App 程式開發者能將360度影片拼接 SDK 整合到即時轉播與後製作業。
NVIDIA 與率先將專業即時 VR 攝影機帶到大眾市場的 Z CAM 合作,將 NVIDIA VRWorks
360度影片 SDK 整合到新款 V1 Pro 機種以及 WonderStitch 和 WonderLive 拼接程式。
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!