NVIDIA發表最新LATTE3D研究項目，透過AI透過文字1秒就可生成3D模型

NVIDIA在GTC 2024春季場發表的LATTE3D研究項目是款能將於文字轉換為3D模型的生成式AI技術，並將花費時間由10~12秒縮短至1秒。

猶如虛擬3D印表機

NVIDIA AI研究副總裁Sanja Fidler所屬位於多倫多的AI實驗室團隊在GTC 2024春季場的座談活動中，發表了LATTE3D並於現場進行實機展示，該技術能夠高效率透過文字提示詞生成3D模型，在搭配NVIDIA RTX A6000 GPU的情況下能夠幾乎即時生成3D模型。

在LATTE3D的協助下，創作者無需從頭開始設計或在3D資料庫內搜尋現有現有模型，而是能在輸入提示詞之後生成多組3D模型供創作者選擇，並在幾分鐘內完成最佳化提高模型的品質，有助於捕捉稍縱即逝的創意並加速工作流程。

使用者可以匯出OpenUSD格式模型，並在其他3D開發程式中使用，也能匯出至Omniverse該平台，讓生成的模型可以輕鬆應用於虛擬環境，用於開發電玩遊戲、廣告活動、設計項目或機器人的虛擬訓練場域。

LATTE3D利用NVIDIA A100 GPU進行訓練，並搭配ChatGPT生成的提示詞輔助訓練，以提高模型對提示詞的理解能力。雖然目前研究人員專注於動物和日常物體等主題訓練LATTE3D，但使用者也可以透過次模型架構搭配其他主題的資料訓練模型，擴展LATTE3D的適用範圍。

▲ LATTE3D的功能為「文生3D模型」，使用者輸入提示詞之後就可快速生成3D模型。

▲ 舉例來說可以生成站在滑板上的折紙貓咪。

▲ 或是生成針織風格的鶴。

▲ 目前LATTE3D主要針對動物和日常物體等主題進行訓練，生成動物3D模型的效果較為理想。

▲ LATTE3D具有可以生成不同品種狗3D模型的能力。

Sanja Fidler在座談會回答筆者的提問中表示，LATTE3D預計以開源形式釋出，但目前尚處於開發階段，需等待專案更加完善才會計劃推出。