深入研究Pixel 3 Night Sight神夜拍，疊圖技法立大功

夜拍是Google Pixel 3的亮點功能之一，可以讓使用者不需要腳架或閃光燈，就能在低光源的環境下拍出清晰亮麗的照片，但是在光線不足的情況下拍照卻有著許多挑戰，這邊我們就會從攝影的角度出發，探討夜拍的困難之處，以及Pixel 3如何解決問題，改善夜拍效果。

神夜拍讓黑夜變白晝

Google長期投入許多心力研發影像處理技術，Pixel 3也實裝許多強化攝影、拍照的功能，筆者先前也曾撰文介紹，讀者可以參考這篇文章快速瞭解Pixel 3提供的各種攝影功能，以及在這篇文章提到的Super Res Zoom數位變焦功能。

筆者會在本文說明Pixel 3的Night Sight夜拍技術，基本上它是運用類似HDR的影像疊加技術，在光線不足的情況下自動拍攝多張照片，並如Super Res Zoom技術一樣將照片疊加起來，增加光線亮度，並透過機器學習的方式強化色彩，當在月光下、營火旁，或是步出打烊的酒吧等昏暗環境中，仍然能讓使用者拍出明亮、色彩鮮艷且細節清晰的照片。

▲ 在昏暗環境中若無使用夜拍功能，拍出的照片就會黑壓壓一片。（圖片來源：Google，下同）

▲ 啟用夜拍之後，照片整個亮起來，也能看到更多細節。

夜拍的難處在哪裡？

你應該會有種經驗，就是在光線不足的地方拍照時，拍出的照片會有很多噪點，它們就像是隨機出現在畫面中的雜色光點，讓畫面看來更加模糊，這種稱為散粒雜訊（Shot Noise），其主要成因為進入鏡頭的光子（Photon）數量的自然變化，這個問題在鏡頭與感光元件都偏小的手機上，會因為進光量不足的原因，導致狀況更加明顯。

除此之外，因為感光元件的表面並非完美無瑕，所以當感光元件被光子照射，將光線轉換成電子訊號時，會產生隨機的雜訊與錯誤訊號，這類訊號被稱為讀取雜訊（Read Noise）。

將上述的雜訊以及其他雜訊的強度加總後，再除以有用訊號的強度，就可以得到整體的訊噪比（Signal-to-Noise Ratio，SNR），當訊噪比越大，畫面就越清晰、雜訊越少。

由於訊噪比拍照的曝光時間成平方正比，所以曝光時間越長訊噪比就越大，照片也就會越清晰。然而當我們手持相機拍攝時，一定會有晃動情況發生，或造成畫面模糊，所以在沒有使用腳架的情況下，長時間曝光並不是那麼實際。

Google先前就曾提出HDR+技術，在高速拍攝多張照片後（曝光時間短，但連拍多張），再透過軟體方式將圖像對齊並疊合起來，一來能夠延長曝光時間以增加照片的訊噪比，也能避免手震造成的影響，除了加強畫質之外，也可以增加照片的動態範圍，讓畫面中的亮部與暗部都能清楚地顯示出來。

一般智慧型手機的相機最低能應付光線調件為30 Lux（勒克斯，照度單位）的場景，使用HDR+之類的疊圖方式則可應付3 Lux，若是場景更暗的話，就需使用補光燈或閃光燈。而Pixel 3的Night Sight夜拍技術，則是將目標定在不使用補光燈，就能在0.3 Lux環境中攝影。

常見照度對照表
太陽下：30,000Lux
陰天：1,000Lux
辦公室內：300Lux
燈光美、氣氛佳的餐廳：20Lux
路燈下：3Lux
閱讀報紙的極限亮度：1Lux
滿月：0.6Lux
暗到找不到地上的鑰匙：0.3Lux

▲ 在昏暗環境拍照會如左圖讓照片出現很多雜訊，右圖使用HDR+能有效改善狀況。（圖片來源：Google）

延長曝光增加訊噪比

由於我們知道延長曝光時間可以增加照片的訊噪比，讓畫面更加清晰，但是這個方式在Pixel系列智慧型手機上卻會遇到2個問題。

第一是Pixel在預設狀態下開啟相機App後，系統會啟動零延遲拍照（Zero-Shutter-Lag）協定，自動在背景不斷拍攝並將照片儲存至循環緩衝區（Circular Buffer，會自動刪除最舊的照片以騰出空間寫入新照片），當使用者按下快門鍵後，系統就會從緩衝區讀取9至15張照片，並傳送至HDR+或Super Res Zoom軟體進行後續處理。這代表著使用者可以確實補捉按下快門瞬間的畫面，但是因為HDR+將曝光時間上限定為66ms，所以在昏暗的環境中，手機螢幕的顯示頻率可能會下降至15FPS，對取景有些許影響。

如果環境更暗的話，Night Sight夜拍模式就會啟動主動快門延遲（Positive-Shutter-Lag）功能，在使用者按下快門鍵後才開始擷取影像，並延長更多曝光時間。雖然這會增加手震所造成的模糊，但如果使用者能穩定持握手機，在光學防手震機構的協助下（Pixel 2、3的光學防手震大約可抵消曝光1/8秒之內造成的晃動），就能拍出更清晰的照片。

另一個問題是光學防手震並無法對付更長的曝光時間或是移動中的物體，為了要進一步消除畫面中模糊的狀況，所以Pixel 3預設會在所有攝影模式開啟動態測量（Motion Metering）功能，Pixel1、2則是會在Night Sight夜拍模式啟用該功能。系統會測量影像移動的狀態，自動在333ms以內的範圍選擇適合的曝光時間，以兼顧進光量與避免模糊之間的平衡，如果手機很穩定、沒有晃動的話，曝光時間可以延長至1秒。

另一方面，系統還能根據不同的晃動狀況，改變取用連拍照片組的數量，比方在手持拍攝時會以1/15秒曝光並取用15張照片，使用腳架的話則會將曝光時間延長至1秒並只取6張照片，以確保最佳呈現效果。

▲ 當拍攝左圖動態景物時，中圖為關閉動態測量的情況，曝光時間為73ms，影像比較模糊。右圖開啟動態測量，曝光時間縮短至48ms，影像比較清晰。（圖片來源：Google，下同）

▲ 左圖為15張333ms圖片疊合（總曝光時間為5秒），右圖為6張1秒圖片疊合（總曝光時間為6秒），可以發現右圖的雜訊比較少。

（下頁還有疊圖技術與其他需克服的困難說明）