即興創作是爵士樂的特點，而 NVIDIA 透過人工智慧 (AI) 研究成果向爵士樂致敬，繪圖創作者有朝一日將能夠在即興演奏時，利用演奏期間所創作出的 3D 物件進行即興創作。

建築師、設計師、概念藝術家與遊戲開發者透過這項稱為 NVIDIA 3D MoMa 的工具，可以迅速將物件匯入繪圖引擎，並進行處理、調整比例、變更材質或嘗試不同的光線效果。

NVIDIA Research 在一部頌揚爵士樂及其發源地紐奧良的影片中展示該項技術，而本週在紐澳良舉行的國際電腦視覺與模式辨識會議 (CVPR) 上發表 3D MoMa 的技術論文。

從 2D 平面影像提取 3D 物件

逆向渲染是一項將一系列靜態照片重建為 3D 物件或場景模型的技術，NVIDIA 繪圖研究部門副總裁 David Luebke 表示：「這項技術對於統一電腦視覺與電腦繪圖來說是夢寐以求的目標。」

David Luebke 亦表示：「藉著把每一個逆向渲染問題都當作 GPU 加速的可微分元件，NVIDIA 3D MoMa 渲染流程利用現代 AI 技術與 NVIDIA GPU 的原始運算能力快速產出 3D 物件，創作者便能運用現有的工具，自由地進行匯入、編輯和擴展等作業。」

3D 物件的形式應能搭配遊戲引擎、3D 建模器和電影渲染器等各式常見工具，才最能協助藝術家或工程師。該形式為 3D 工具的通用語言、帶有紋理材質的三角網格 (Triangle Mesh)。

遊戲工作室與其他創作者過去使用複雜的攝影測量技術，耗費大量時間及人力來建立 3D 物件。最近在神經輻射場領域的研究成果可以用於快速生成 3D 物件或場景，但並非能夠輕鬆編輯的三角網格格式。

NVIDIA 3D MoMa 搭配單一 NVIDIA Tensor 核心 GPU，能在一小時內產生三角網格模型。該流程的輸出內容可直接相容於創作者原本使用的 3D 繪圖引擎與建模工具。

流程重建有三個特徵：3D 網格模型、材質和光線。網格如同由三角形組成的 3D 形狀紙糊模型。開發人員能透過網格來調整物件，以符合他們的創作構想。2D 紋理材質像皮膚一樣疊加在 3D 網格上，而 NVIDIA 3D MoMa 亦會判斷場景的打光狀況，以便創作者在後期調整物件上的光線。

為虛擬爵士樂隊的樂器進行調整

NVIDIA 的研究和創意團隊先蒐集五種爵士樂器不同角度的圖片各約 100 張，以展現 NVIDIA 3D MoMa 的能力，包括小號、長號、薩克斯風、爵士鼓和單簧管。

NVIDIA 3D MoMa 將每件樂器的 2D 平面影像，以三角網格重建為 3D 立體模型。接著，NVIDIA 團隊從原始場景中取出這些樂器，並將其匯入NVIDIA Omniverse 3D 模擬平台進行編輯。

創作者能夠在任何傳統的繪圖引擎中，輕鬆為 NVIDIA 3D MoMa 產出的形狀改變材質，彷彿替網格換穿上不同的衣服。NVIDIA 團隊便是藉此方式更換小號模型的材質，例如瞬間就將原先來的塑膠材質外觀，改成黃金、大理石、木材或軟木材質。

創作者接著便能把剛編輯好的物件放入任何虛擬場景中。NVIDIA 團隊將這些樂器放置在一個用於渲染品質的經典圖形測試 Cornell Box，展示虛擬樂器對光線的反應，就像這些樂器在實體環境中的光線反應一般，亮面的銅管樂器會反射出明亮的光線，而霧面的鼓皮則會吸收光線。在影片結尾以虛擬爵士樂隊展現這些使用逆向渲染產生的新物件，能夠用以創造複雜的動畫場景。