NVIDIA於SIGGRAPH 2024發表多樣生成式AI微服務，圖像生成提升至4K還可生成3D模型

NVIDIA於SIGGRAPH 2024電腦圖學與互動技術大會發表多項結合圖像、3D繪圖、AI的技術，並提供對應的NIM微服務協助企業加速導入AI應用。

圖像生成再進化

先前NVIDIA於GTC 2023春季展發表了與Getty Images、Shutterstock等圖庫公司合作進行生成式AI圖像技術與模型的研發，並推出Picasso框架與Edify模型來協助企業產生各種高品質影像、3D 素材、影片、360 HDRi（配合3D場景的光線）和物理渲染材質（PBR）https://www.adobe.com/tw/products/substance3d/discover/pbr.html等圖像資源。

延伸閱讀： NVIDIA於GTC 2024春季場發表Blackwell GPU與NVLink交換器晶片，單顆GPU效能高達20PFLOPS

NVIDIA在SIGGRAPH 2024中介紹了合作夥伴的最新成果，Shutterstock推出了Shutterstock Generative 3D生成服務的商業測試版，讓創作者只需輸入提示詞（Prompt）或參考圖像，就可透過「文生圖」或「圖生圖」的方式快速製作3D模型以及360度HDRi背景，並將3D模型匯入Blender或其他3D開發工具使用。而Getty Images的生成式AI服務已導入更強大的Edify模型，並提供更多設定功能讓創作者能夠控制圖像的構圖和風格，例如控制鏡頭縮放以及景深效果，新版模型除了提高1倍生成速度之外，也強化影像品質和準確性，創作者可以在大約6秒的時間產生4張圖像，並選擇想要升頻放大到4K解析度的圖像，加速整體工作流程。

這些服務最大的特色在於基礎模型使用Getty Images、Shutterstock等圖庫公司合法擁有且高品質、具有人工標注標籤（Tag）的圖像資源進行訓練，能夠確保生成的圖像商用安全（Commercially Safe，指圖像沒有版權爭議，可以用於商業應用），而且品質比許多開源模型更加理想

▲ Shutterstock推出3D模型生成服務的商業測試版，能夠以「文生圖」或「圖生圖」的方式快速製作3D模型以及360度HDRi背景。

▲ 創作者可以透過這套工具生成3D模型，並匯入Blender或其他3D開發工具使用。

▲ Getty Images生成式AI服務則更新Edify模型帶來更快速、擬真的圖像生成，創作者可以先以6秒快速生成4張預覽圖像，再指定需要圖像並升頻放大至4K解析度。

▲ 使用者可以指定鏡頭縮放、景深效果以控制生成圖像的構圖和風格。

機器人開發也受益

NVIDIA也發表了可以進行機器人模擬和學習的NIM微服務，以及用於執行機器人負載工作的OSMO編排服務（Orchestration Service）。比較特別的是OSMO還能夠透過人類展示的資料（如透過攝影機、Apple Vision Pro拍攝人類動作），讓開發者由遠端訓練機器人。

NVIDIA提供預先建置容器（Container）的NIM微服務，讓使開發人員能夠在2分鐘完成過去需要數週的部署工作，如此一來便能透過Omniverse平台建構機器人模擬資料，並在Isaac Sim中進行AI模型的訓練，並搭配Apple Vision Pro等裝置收集遠端操作資料，大幅簡化機器人訓練和模擬工作流程，並讓開發者直觀看到產生合成資料、訓練模型、進行強化學習、軟體迴圈測試（Software-in-the-Loop Testing），加速人型機器人、自主移動機器人和工業機械手的研發。

▲ 開發者可以在NIM與OSMO的搭配下，由遠端透過Apple Vision Pro等裝置收集資料並訓練機器人的AI模型。

透過NIM加速AI部署

上述這些服務可打包為NIM微服務並進行最佳化，除了能簡化部署流程，還有助於確保運作過程的最佳效能，客戶也能透過Edify服務搭配私有且具授權的資料，訓練或微調負責任的生成式模型（Responsible Generative Model），並透過NVIDIA DGX Cloud雲端主機進行大規模部署。

舉例來說，行銷和銷售解決方案領導者Omnicom也透過Getty Images的服務來簡化廣告工作流程，並生成商用安全的品牌相關圖像，協助團隊加速將創作轉化為成果。

全球最大的廣告傳播集團WPP與可口可樂公司也透過Omniverse和NIM微服務，產生圖像、影片以及OpenUSD（通用場景描述）格式3D模型等資源，建立產品數位孿生，並應用於超過100個位於全球各地的區域與市場，加速提供在地化廣告內容。

▲ 上述功能、服務都能夠打包為NIM微服務，除了能加速部署，也有利於效能最佳化。

▲ WPP廣告傳播集團與可口可樂公司也透過Omniverse和NIM微服務建立產品數位孿生，加速提供在地化廣告內容。

SIGGRAPH 2024將於7月28日至8月1日舉行，有興趣的讀者可參考官方網站。