HTC 宣布 NVIDIA ACE、VIVERSE Avatar 技術整合，增強 XR 實境中的互動真實感

HTC 旗下沉浸式 XR 開放平台 VIVERSE 於美國丹佛舉行的 SIGGRAPH 2024 全球電腦繪圖大會上宣布，與 NVIDIA 合作展示將 NVIDIA ACE 技術整合至 VIVERSE Avatar 中，增強用戶在 XR 延展實境中的互動真實感，推動全新 XR 虛擬化身相關應用。

SIGGRAPH 2024：ACE NIM 與 VIVERSE Avatar 即時整合展示

VIVERSE Avatar 是一個開放式的虛擬化身創建系統，提供多種全身虛擬形象風格，並支援 VRM 標準，允許用戶導入 VRM 3D 模型虛擬形象，在 VIVERSE 中創建自己的身份。

NVIDIA ACE（Avatar Cloud Engine）則是一套可以將虛擬化身變得栩栩如生，賦予數位人類充滿生命力的技術。其中 NVIDIA Audio2Face NIM 微服務可根據語音語調搭配出豐富的臉部表情。

在本次 SIGGRAPH 2024 大會的 NVIDIA 新創企業創新展區中，參觀者可透過 VIVE XR Elite 體驗 ACE NIM 與 VIVERSE Avatar 即時整合展示。

Audio2Face NIM 微服務支援多種語言，可應用於從卡通到寫實等各種虛擬形象風格。這種多樣靈活性與 VIVERSE 的開放平台方法相契合，允許用戶使用開放的 VRM 標準導入虛擬化身，或者從頭創建自己的卡通虛擬人物。透過 Audio2Face NIM 集成至 VIVERSE Avatar 中，團隊可以更自然地協作互動，減少遠程工作中的溝通問題。

HTC 推出獨家 3D 渲染技術 VIVERSE Polygon Streaming

此外，HTC 在大會上展示另一項突破性技術－獨家 3D 渲染技術 VIVERSE Polygon Streaming。這項技術可為用戶提供低延遲、高保真 3D 渲染串流體驗，即使在大型 3D 場景中，也能享有流暢的虛擬互動體驗。

VIVERSE Polygon Streaming 服務技術可高效渲染及快速拆解高品質 3D 模型，在不損失細節的情況下自動優化圖像，協助在電腦、平板、手機和 XR 等跨裝置上進行即時 3D 渲染。日本知名虛擬活動平台 Cluster 為提供使用者更流暢細緻的體驗，亦整合 VIVERSE Polygon Streaming 服務與技術。這一合作不僅提升用戶的沉浸體驗，且無需顧慮用戶端設備性能，每位用戶皆能輕鬆獲得次世代沉浸式圖形物件和交互體驗。

Polygon Streaming 能夠在不同裝置上無縫渲染高解析度的 3D 模型，降低了對硬體的依賴，即使是手機使用者也能享受絕佳體驗。經過實際測試，Polygon Streaming 能夠達到（性能改進可能因設備、內容和網絡限制而異）：

物件載入時間最多減少 8 倍
平均每秒幀數（FPS）最多增加 2 倍，讓畫面更加生動逼真
讓專案的檔案大小最多減少 81%

NVIDIA 數位人類產品管理總監 Seth Schneider 表示，NVIDIA Audio2Face NIM 與 VIVERSE Avatar 的整合實現了動態口型同步，「增強了 XR 世界中虛擬化身的互動溝通體驗。」VIVERSE 總經理林俊吳則進一步表示，Polygon Streaming 為未來虛擬體驗開創了新的可能性，「可以將任何設備轉變為互動式產品展示、協作和沉浸式虛擬環境的載體。」

HTC 之前曾與 NVIDIA 合作，將 NVIDIA CloudXR 整合至 VIVE Focus 3 頭戴裝置中。此整合允許 XR 應用程式的遠端渲染，使用者可以在沉浸環境中設計、修改和協作處理大型資產。

VIVERSE Polygon Streaming 的實際展示範例可透過此查看：Model Preview (viverse.com)

延伸閱讀：NVIDIA於SIGGRAPH 2024發表多樣生成式AI微服務，圖像生成提升至4K還可生成3D模型
延伸閱讀：HTC持續擴建完整XR及VIVERSE生態圈，深度強化沉浸式互動體驗
延伸閱讀：虛擬藝人NANA登陸元宇宙，HTC VIVERSE結合VIVE Mars打造沉浸式虛擬偶像世界