AI算繪新高度！用照片就可以繪製出超逼真的3D場景

 

先來看一段「影片」，有沒有看出什麼不對勁的地方？

其實，這僅僅是由一組照片算繪出來的（右下角為拍攝照片）！

產生的也不僅僅是一段影片，更是一個3D場景模型，不僅能任意角度隨意切換、高清晰度無死角，還能調節曝光、白平衡等參數，產生船新的照片：

在完全不同的場景下，例如一個坦克廠中，同樣能用一組照片算繪出逼真3D場景，相同角度與真實拍攝圖像幾乎「完全一致」：

雖然之前蘋果雖然也做過用一組照片產生目標物體3D模型的功能，但最多就是一件物體，例如一只箱子：

但這次可是整個3D場景！

這是德國愛爾朗根-紐倫堡大學的幾位研究人員做的專案，效果一出就火得不行，在Twitter上按讚數超過5000，閱讀量近37萬。

ADOP: Approximate Differentiable One-Pixel Point Rendering
abs: https://t.co/npOqsAstAx pic.twitter.com/LE4ZdckQPO

— AK (@ak92501) October 14, 2021

那麼，這樣神奇的效果，究竟是怎麼產生的呢？ 

用照片還原整個3D場景圖

整體來說，這篇論文提出了一種基於點的可微神經算繪流水線ADOP（Approximate Differentiable One-Pixel Point Rendering），用AI分析輸入圖像，並輸出新角度的新圖像。

在輸入時，由於需要建模3D場景，因此這裡的照片需要經過嚴格拍攝，來獲取整個場景的稀疏點雲資料。 

具體來說，作者在從照片獲取點雲資料時，採用了COLMAP。 

先從多個不同的角度拍攝場景中的照片，其中每張照片的視角都會經過嚴格控制。 

然後採用SfM（Structure From Motion，運動恢復結構）方法，來獲取相機內外參數，得到整個場景的3D重建資料，也就是表示場景結構的稀疏點雲：

然後，包含點雲等資訊的場景資料會被輸入到流水線中，進行下一步的處理。

流水線（pipeline）主要分為三個部分：可微光柵化器、神經算繪器和可微色調映射器。

首先，利用多解析度的單像素點柵格化可微算繪器（可微光柵化器），將輸入的相機參數、重建的點雲資料轉換成稀疏神經圖像。 

其中，模型裡關於圖像和點雲對齊的部分，採用了NavVis資料集來訓練。 

然後，利用神經算繪器，對稀疏神經圖像進行陰影計算和孔洞填充，產生HDR圖片。

最後，由於不是每個裝置都支援HDR畫面，因此在顯示到LDR裝置之前，還需要利用基於物理的可微色調映射器改變動態範圍，將HDR圖像變成LDR圖像。 

每個場景300+圖像訓練

這個新模型的優勢在哪裡？

 由於模型的所有階段都可微，因此這個模型能夠最佳化場景所有參數（相機模型、相機姿勢、點位置、點顏色、環境圖、算繪網路權重、漸暈、相機回應函數、每張圖像的曝光和每張圖像的白平衡），並用來產生品質更高的圖像。 

在訓練上，作者採用了688張圖片（包含73M個點）來訓練這個神經算繪流水線（pipeline）。

針對demo中的幾個場景（火車、燈塔、遊樂園、操場等），作者們分別用高階攝影機拍攝了300~350張全高解析度圖像，每個場景產生的像素點數量分別為10M、8M、12M和11M，其中5%的圖像用作測試。 

也就是說，製作這樣一個3D場景，大約需要幾百張圖像，同時每張圖像的拍攝需要經過嚴格的角度控制。 

不過仍然有讀者表示，拍幾百張圖像就能用AI做個場景出來，這個速度比當前人工算繪是要快多了。

功能上，模型既能產生可以調節參數的新角度照片，還能自動插值產生全場景的3D算繪影片，可以說是很有潛力。 

那麼，這個模型的效果與當前其他模型的算繪效果相比如何呢？ 

即時顯示1億+像素點場景

據作者表示，論文中採用的高效單像素點柵格化方法，使得ADOP能夠使用任意的相機模型，並即時顯示超過1億個像素點的場景。 

肉眼分辨產生結果來看，採用同行幾個最新模型產生的圖片，或多或少會出現一些偽影或是不真實的情況，相比之下ADOP在細節上處理得都非常不錯：

從資料來看，無論是火車、操場、坦克還是燈塔場景，在ADOP模型的算繪下，在VGG、LPIPS和PSNR上幾乎都能取得最優秀的結果（除了坦克的資料）。 

不過，研究本身也還具有一些侷限性，例如單像素點算繪仍然存在點雲稀疏時，算繪出現孔洞等問題。 

但整體來看，即時顯示3D場景的效果還是非常出類拔萃的，不少業內人士表示「達到了AI算繪新高度」。 

已經有不少網友開始想像這項研究的用途，例如為電影製片廠省去一大波時間和精力：

甚至有電影系的學生想直接用到畢業設計上

對遊戲行業影響也非常不錯： 

▲ 在家就能搞3A大作的場景，是不是也要實現了？簡直讓人迫不及待。 

還有人想像，要是能放到iPhone上就好了（甚至已經想像iPhone 15有這功能了）： 

對於研究本身，有網友從行外人視角看來，感覺更像是插格模型（也有網友回應說差不多是這樣）：

也有網友表示，由於需要的圖像比較多，效果沒有宣傳中那麼好，對研究潛力持保留態度：

雖然目前作者們已經建立了GitHub專案，但程式碼還沒有放出來，感興趣的人可以先等一等。 

至於具體的開源時間，作者們表示原始碼會在論文通過審核之後公布。

論文地址：

• ADOP: Approximate Differentiable One-Pixel Point Rendering 

項目位址（程式碼還沒公布）：

• https://github.com/darglein/ADOP 

資料來源：

• ADOP: Approximate Differentiable One-Pixel Point Rendering
• https://twitter.com/ak92501/status/1448489762990563331
• Introducing Object Capture