ADVERTISEMENT
用單鏡頭去實現虛化拍照並不是什麼新鮮事,之前的 iPhone XR 以及更早的 Google Pixel 2 都有過類似的嘗試。蘋果新推出的 iPhone SE 也是如此,但它的鏡頭零組件過於老舊,主要功勞還是在新演算法上。
👉 加入T客邦telegram送《任天堂Switch大補丸》 ( https://bit.ly/35gy8ig )
從 iFixit 的拆解報告可以得知,新款 iPhone SE 中的某些零組件和 iPhone 8 完全相同,甚至達到了可以互換使用的程度——其中就包括了那顆 1200 萬像素的廣角鏡頭。
「舊瓶裝新酒」的做法對 iPhone SE 而言並不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外觀和大部分硬體,只是在晶片上保持和 6s 一致,進而讓使用者能夠以更低的價格獲得旗艦機的性能體驗。
理論上,照搬相同的鏡頭硬體,兩者的拍照特性應該也不會有太大差異。比如說 iPhone 8 就不支援拍主體清晰、背景模糊的小景深照片,也就是我們常說的「人像模式」。
但查閱蘋果的支援頁面時你會發現,iPhone 8 所不支援的人像模式,卻被新款 iPhone SE 支援了——哪怕兩者都只有一顆後置鏡頭,且規格完全一樣。
正常情況下,手機拍「人像模式」這樣的虛化照片都得靠雙鏡頭來完成——好比是人類的雙眼,兩個位置不同的鏡頭會獲取兩張不同角度的畫面,然後結合視角差估算出景深,進而實現背景虛化,保持主體清晰。
如今列表上的 Plus 系列,或是近幾年的 X、 XS 和 11 等,基本都是靠多鏡頭系統來完成人像虛化拍攝。
那麼 iPhone 的前置單鏡頭又是怎麼解決的?核心在於 Face ID 系統中的紅外線點陣投影器,它也可以獲取足夠精準的深度數據,相當於是一顆「輔助鏡頭」。
這麼來看,iPhone SE 能拍人像模式照片就很特殊了:一來,它沒有多鏡頭,二來它也沒有 Face ID,照理來說,應該在硬體上並不支援人像模式才對。
因此,答案就很明顯了,蘋果在軟體上應該是又有了新的突破。
iPhone SE如何用單鏡頭做出人像虛化效果?
最近,第三方相機APP Halide 的開發者 Ben Sandofsky 就透露了其中的技術原理,解釋為什麼新 iPhone SE 採用了和 iPhone 8 一樣的單鏡頭規格,但卻可以做到後者所無法實現的人像拍照模式。
他們表示,新 iPhone SE 很可能是「第一款只使用單一的 2D 圖像,就可以產生人像虛化效果的 iPhone」。
你可能會反駁,iPhone XR 不也是單鏡頭拍虛化的嗎,難道 SE 不是照搬它的方案?
然而拆解的情況證明, iPhone SE 和 iPhone XR 的鏡頭並不一致,這也導致兩者在技術上存在差異。
最重要的一點,iPhone XR 的鏡頭可以使用雙像素自動對焦(DPAF)技術來獲得一定的深度數據,而不是完全只靠軟體來模擬。
簡單來說,DPAF 技術相當於將鏡頭感應器上的像素點,分割成兩個更小的並排像素,去捕捉兩張角度不同的照片,就像是我們的左右雙眼一樣。
雖然這產生的視角差不如原生雙鏡頭那麼明顯,但仍有利於演算法去構建深度訊息。
此前,Google 在 Pixel 2、3 上也運用了這樣的技術來實現單鏡頭虛化。而在 Pixel 4 上,由於該機換成了多鏡頭規格,視差探測明顯比單鏡頭更精準。
至於新 iPhone SE,由於它的感應器過於老舊,Halide 稱它無法依靠感應器來獲取視差圖,基本只能靠 A13 Bionic 晶片所提供的機器學習演算法,去模擬和產生深度數據圖。
一句話解釋就是,iPhone SE 的人像虛化拍攝,真的就是完全在靠軟體和演算法實現的。
Halide 用 iPhone XR 和新 iPhone SE 分別拍攝了一張小狗的照片(並非實拍,只是給「一張照片」拍照),然後對比兩張圖的深度數據。
他們發現,iPhone XR 僅僅是做了簡單的圖像分割,將主體摳了出來,但並沒有正確辨識出小狗的耳朵。
但在新 iPhone SE 上,配合 A13 晶片所提供的全新演算法,我們則得到了一張完全不同於 XR 的深度圖。它不僅正確辨識出了小狗的耳朵和整體輪廓,還針對不同遠近的背景做了分層處理。
這種深度圖並不是 100% 準確的,Halide 表示,新 iPhone SE 在拍攝非人臉題材的虛化照片時,摳圖和虛化的精準度明顯沒有拍人像時來得精準。
尤其是在一些主體和背景圖十分模糊的情況下,此時多鏡頭的優勢會更明顯些。
從這張圖可以看到,配備了多鏡頭系統的 iPhone 11 Pro,不僅能將圓木上小植物輪廓完整地勾出來,而且還能對辨識出背景的遠近距離,並做出分層處理。
而在新 iPhone SE 上,儘管同樣有分層處理的結果,但被攝主體和背景已經完全融在了一起,後期虛化時自然會比 iPhone 11 Pro 差不少。
這也是為什麼,現在新 iPhone SE 使用 iOS 自帶相機應用時,只有在檢測到人臉的情況下,才能啟用「人像模式」拍虛化照片,其餘情況則會出現錯誤提示,這點和之前的 iPhone XR 一樣。
原因仍然和蘋果自己的演算法有關。Halide 提及了一個名為「Portrait Effects Matte」(人像效果遮罩)的技術,主要用於在人像模式拍照中尋找出精確的人物輪廓,包括邊緣的發絲、眼鏡框等細節,以便對主體和背景進行分割。
但目前來看,這套基於機器學習的分割技術更多是為「拍人」準備的,它的確可以彌補 iPhone XR 、iPhone SE 這類單鏡頭手機在視差數據上的不足,但如果拍攝對象從人物換成其它物體,演算法也會出現一定概率的判定錯誤。
至於像 iPhone 11 Pro 這類多鏡頭手機,就算摳圖演算法有侷限性,但還是可以透過鏡頭硬體直接獲得視差數據,所以它們在使用自帶相機時,也能將人像模式用在非人臉情境中,效果也不會太差。
當然,官方不支援的東西,第三方開發者還是可以拿來加以改造。如今 Halide 應用就支援 iPhone XR、SE 去拍攝小動物或其它物體的虛化照片,背後也是利用了蘋果的人像效果遮罩技術來構建深度圖,同時配合自己的後端優化。
總得來看,本次新 iPhone SE 所實現的人像虛化拍照,算是單鏡頭手機靠軟體優化所能做到的極限了。嚴格意義上,這其實也得歸功於那顆 A13 晶片,如果不是它帶來了最新的機器學習演算法,單靠一顆過時的鏡頭,SE 的拍攝體驗顯然得打個對折。
這也多少證明,智慧型手機發展多鏡頭系統仍然是有意義的。我們可以用超廣角來拓寬取景視野,可以靠潛望式長焦獲得無損變焦照片,更別說 ToF、雷射雷達這類「特殊鏡頭」對 AR 擴增實境的探測幫助,這些都不是單純靠一個 OTA 升級,或是演算法就能實現的特性。
當然,一味地吹噓、比拚鏡頭數量同樣令人厭煩,如果說硬體只是決定了成像的下限,那麼一套優秀的演算法,則可以顯著拉升成像的上限,甚至是重新壓榨出老硬體的價值和潛力。
不知道再等個四年,下一代 iPhone SE 面世時,單鏡頭還能否在手機行業留有一席之地?
題圖來源:Apple
👉 加入T客邦telegram送《任天堂Switch大補丸》 ( https://bit.ly/35gy8ig )
- 本文授權轉載自:ifanr(愛范兒)
ADVERTISEMENT