NVIDIA發表GANverse3D，只需1張照片就可產生霹靂車3D模型

NVIDIA在GTC21發表GANverse3D技術，能透過AI將1張靜態照片，變成可動式3D模型，並以此方式重現霹靂遊俠影集中的夥計。

1張照片完成3D建模

NVIDIA發表的GANverse3D是以生成對抗網絡（Generative Adversarial Network，GAN）為基礎的AI技術，可以將靜態照片轉換為動態3D模型，並可匯入Omniverse協作平台，以利在各種不同的3D開發軟體使用3D模型。

GANverse3D目前還在初期開發階段，已針對車輛、鳥、馬等物件進行AI訓練，尤其車輛部分更是使用高達55,000張照片進行訓練，使用者只需將照片匯入AI模型，程式就會透過AI推論預測立體資訊，將圖像自動轉換為3D網格（Mesh），並產生材質貼圖，更厲害的是還能產生分割遮罩，能夠區分物件中的不同部位。

舉例來說，當使用者匯入車輛的照片後，系統就會自動分析圖像，並建立可動3D模型，其中車輪、車燈、車門、窗戶等區域都能自動被辨識出來，於是使用者不需額外微調，就能做出車輪轉動與轉向、點亮車燈等動作，大幅縮短3D開發流程。

關於更多GANverse3D的技術細節，可以參考《Image GANs Meet Differentiable Rendering for Inverse Graphic and Interpretable 3D Neural Rendering》（PDF）與《DatasetGAN: Efficient Labeled Data Factory with Minimal Human Effort》（PDF）等論文。

▲ GANverse3D是利用AI將靜態照片轉換為動態3D模型的技術。

▲ 仍在開發中的GANverse3D目前已經對車輛、鳥、馬等物件進行AI訓練。

▲ GANverse3D可以將靜態照片自動轉換為3D網格（圖片上方綠色車輛輪廓），並產生材質貼圖（圖片中央有金屬與玻璃材質的車輛），以及分割遮罩（圖片下方車輛各部分以不同顏色區分）。

▲ GANverse3D利用StyleGAN產生素材資料，並使用DIB-R繪製圖像。

▲ 映射網路（Mapping Network）則可將有限的資料轉換成不同視角的3D圖像資料。

▲ 舉例來說，開發團隊使用同一物件、不同視角的照片訓練AI模型。

▲ 有進行不同視角的照片訓練（上圖）與沒有訓練（下圖）相比，可以看到有訓練的情況可以提升產生3D圖像的準確度，尤其是如車頂等輸入資料沒有拍到的角度。

▲ 整體而言，GANverse3D只需單一照片就可產生完整的3D模型。

▲ DatasetGAN可以用來對圖片中的區域進行分類，從下圖可以看到產生車輛不同部份的分割遮罩。

簡單完成霹靂車3D化

開發團隊與霹靂遊俠影集合作，透過GANverse3D技術重建劇中的AI霹靂車夥計（K.I.T.T.，Knight IndustryTwo Thousand），除了運用生成的3D模型製作動畫之外，也請來原始配音員William Daniels獻聲演出。

值得注意的是，開發團隊僅僅使用1張照片，就產生這段展示影片中夥計的3D模型，雖然其精細度未盡完善，但在只輸入1張照片做為AI推論的前提下，已經是相當出色的成果。

▲ 用來進行AI推論的素材是這張霹靂車的照片。

▲ 推論的結果為這組3D模型。

▲NVIDIA利用GANverse3D技術重建霹靂遊俠影集中的夥計，並請原始配音員William Daniels為影片配音。

目前GANverse3D仍處於開發階段，預計會於2021年夏季推出公開版本，屆時有興趣的讀者將有機會親自嘗試GANverse3D快速建模的方便性。