Pixel 3如何透過Super Res Zoom技術，不需變焦鏡頭就能拍出清晰照片

長久以來數位變焦都不是太受歡迎的相機功能，拍攝出來的效果也無法與光學變焦相比，所以就衍生出大型相機上的複雜光學與機械系統，是無法被輕巧的行動裝置取代的印象。但是Pixel 3就透過聰明的Super Res Zoom技術與演算法強化拍攝品質，讓智慧型手機能夠拍出更加清晰的照片。

數位變焦的挑戰

Google的軟體工程師Bartlomiej Wronski與數位影像研究人員Peyman Milanfar、Lead Scientist在Google AI部落格發表文章，詳細說明Pixel 3所使用的Super Res Zoom技術。

說穿了Super Res Zoom就是強化版的數位變焦，數位變焦指的是透過重建在取樣過程中遺失的細節的方式，將解析度比較低的照片升頻為解析度比較高的版本，以白話來解釋，就是將小圖片放大產生大圖片。

重建細節的困難之處，在於原始小圖片資料的不完整，造成在放大的過程中該如何填補新產生的空缺像素，就是個棘手的問題。如果單純放大而不處理，大圖片就會有很多馬賽克鋸齒，如果使用傳統常見的線性內插法（也稱為補差點，可以理解為將臨近像素取平均，填入新像素），則會讓大圖片變的模糊。如果需要進一步提升品質，就需仰賴如研發團隊先前提出的RAISR演算法 （可參考筆者先前的文章），在放大圖片時，透過機械學習的協助重建圖片的邊緣、紋理的銳利度。

▲ 放大圖片常會遇到的問題就是充滿鋸齒或變得模糊。

紅、綠、藍三色分離與合成也是痛點

數位變焦的另一大挑戰，就是現在的數位相機大多採用拜爾濾色鏡將紅、綠、藍等三原色過濾後，再投射到感光元件上，讓感光元件的每個像素都只會接觸到固定的1種顏色，如此一來運作時感光元件只需測量光線的強度，而不需分辨光線的顏色。

由於人眼對綠色比較敏感，所以典型的拜爾濾色鏡是以2 x 2像素為基本單位，其中包含2個綠色與紅、藍各1。

現在問題來了，因為要將透過拜爾濾色鏡感應到的光線訊號，回復成連貫的彩色資訊，就需經過去馬賽克（Demosaicing）的手續，而過程也會遇到臨近像素缺乏各色訊號的問題。例如紅色濾色鏡周圍的區域就無法感應紅色訊號，需要透過內插法或其他更複雜演算法推測空缺的區域的訊號。

由於大型相機的感光元件可以捕捉更多訊號，所以重建各色資訊的品質會比較好，但對於智慧型手機來說，重建品質就不會太理想，如果再搭配以數位變焦的方式放大照片，最終的照片品質可想而知不會太好，

▲ 拜爾濾色鏡會將紅、綠、藍等三原色光線分離，再投射到感光元件的不同像素。（圖片來源：維基百科，本圖採用創用CC姓名標示-相同方式分享，作者為Cburnett）

▲ 典型的拜爾濾色鏡採「紅、綠、藍、綠」方式排列。（圖片來源：Google，下同）

▲ 要如何重建各色缺乏的資訊，也考驗相機廠商調校演算法的功力。

（下頁還有的如何解決拜爾濾色鏡問題的方式）