iPhone SE 用單鏡頭也能拍人像虛化照片,它是怎麼做到iPhone 8做不到的事情?

iPhone SE 用單鏡頭也能拍人像虛化照片,它是怎麼做到iPhone 8做不到的事情?

用單鏡頭去實現虛化拍照並不是什麼新鮮事,之前的 iPhone XR 以及更早的 Google Pixel 2 都有過類似的嘗試。蘋果新推出的 iPhone SE 也是如此,但它的鏡頭零組件過於老舊,主要功勞還是在新演算法上。

👉 加入T客邦telegram送《任天堂Switch大補丸》 ( https://bit.ly/35gy8ig )  

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

從 iFixit 的拆解報告可以得知,新款 iPhone SE 中的某些零組件和 iPhone 8 完全相同,甚至達到了可以互換使用的程度——其中就包括了那顆 1200 萬像素的廣角鏡頭。

「舊瓶裝新酒」的做法對 iPhone SE 而言並不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外觀和大部分硬體,只是在晶片上保持和 6s 一致,進而讓使用者能夠以更低的價格獲得旗艦機的性能體驗。

理論上,照搬相同的鏡頭硬體,兩者的拍照特性應該也不會有太大差異。比如說 iPhone 8 就不支援拍主體清晰、背景模糊的小景深照片,也就是我們常說的「人像模式」。

但查閱蘋果的支援頁面時你會發現,iPhone 8 所不支援的人像模式,卻被新款 iPhone SE 支援了——哪怕兩者都只有一顆後置鏡頭,且規格完全一樣。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

正常情況下,手機拍「人像模式」這樣的虛化照片都得靠雙鏡頭來完成——好比是人類的雙眼,兩個位置不同的鏡頭會獲取兩張不同角度的畫面,然後結合視角差估算出景深,進而實現背景虛化,保持主體清晰。

如今列表上的 Plus 系列,或是近幾年的 X、 XS 和 11 等,基本都是靠多鏡頭系統來完成人像虛化拍攝。

那麼 iPhone 的前置單鏡頭又是怎麼解決的?核心在於 Face ID 系統中的紅外線點陣投影器,它也可以獲取足夠精準的深度數據,相當於是一顆「輔助鏡頭」。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

這麼來看,iPhone SE 能拍人像模式照片就很特殊了:一來,它沒有多鏡頭,二來它也沒有 Face ID,照理來說,應該在硬體上並不支援人像模式才對。

因此,答案就很明顯了,蘋果在軟體上應該是又有了新的突破。

 

iPhone SE如何用單鏡頭做出人像虛化效果? 

最近,第三方相機APP Halide 的開發者 Ben Sandofsky 就透露了其中的技術原理,解釋為什麼新 iPhone SE 採用了和 iPhone 8 一樣的單鏡頭規格,但卻可以做到後者所無法實現的人像拍照模式。

他們表示,新 iPhone SE 很可能是「第一款只使用單一的 2D 圖像,就可以產生人像虛化效果的 iPhone」。

你可能會反駁,iPhone XR 不也是單鏡頭拍虛化的嗎,難道 SE 不是照搬它的方案?

然而拆解的情況證明, iPhone SE 和 iPhone XR 的鏡頭並不一致,這也導致兩者在技術上存在差異。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

最重要的一點,iPhone XR 的鏡頭可以使用雙像素自動對焦(DPAF)技術來獲得一定的深度數據,而不是完全只靠軟體來模擬。

簡單來說,DPAF 技術相當於將鏡頭感應器上的像素點,分割成兩個更小的並排像素,去捕捉兩張角度不同的照片,就像是我們的左右雙眼一樣。

雖然這產生的視角差不如原生雙鏡頭那麼明顯,但仍有利於演算法去構建深度訊息。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

此前,Google 在 Pixel 2、3 上也運用了這樣的技術來實現單鏡頭虛化。而在 Pixel 4 上,由於該機換成了多鏡頭規格,視差探測明顯比單鏡頭更精準。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

至於新 iPhone SE,由於它的感應器過於老舊,Halide 稱它無法依靠感應器來獲取視差圖,基本只能靠 A13 Bionic 晶片所提供的機器學習演算法,去模擬和產生深度數據圖。

一句話解釋就是,iPhone SE 的人像虛化拍攝,真的就是完全在靠軟體和演算法實現的。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

Halide 用 iPhone XR 和新 iPhone SE 分別拍攝了一張小狗的照片(並非實拍,只是給「一張照片」拍照),然後對比兩張圖的深度數據。

他們發現,iPhone XR 僅僅是做了簡單的圖像分割,將主體摳了出來,但並沒有正確辨識出小狗的耳朵。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

但在新 iPhone SE 上,配合 A13 晶片所提供的全新演算法,我們則得到了一張完全不同於 XR 的深度圖。它不僅正確辨識出了小狗的耳朵和整體輪廓,還針對不同遠近的背景做了分層處理。

這種深度圖並不是 100% 準確的,Halide 表示,新 iPhone SE 在拍攝非人臉題材的虛化照片時,摳圖和虛化的精準度明顯沒有拍人像時來得精準。

尤其是在一些主體和背景圖十分模糊的情況下,此時多鏡頭的優勢會更明顯些。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

從這張圖可以看到,配備了多鏡頭系統的 iPhone 11 Pro,不僅能將圓木上小植物輪廓完整地勾出來,而且還能對辨識出背景的遠近距離,並做出分層處理。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

而在新 iPhone SE 上,儘管同樣有分層處理的結果,但被攝主體和背景已經完全融在了一起,後期虛化時自然會比 iPhone 11 Pro 差不少。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

這也是為什麼,現在新 iPhone SE 使用 iOS 自帶相機應用時,只有在檢測到人臉的情況下,才能啟用「人像模式」拍虛化照片,其餘情況則會出現錯誤提示,這點和之前的 iPhone XR 一樣。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

原因仍然和蘋果自己的演算法有關。Halide 提及了一個名為「Portrait Effects Matte」(人像效果遮罩)的技術,主要用於在人像模式拍照中尋找出精確的人物輪廓,包括邊緣的發絲、眼鏡框等細節,以便對主體和背景進行分割。

但目前來看,這套基於機器學習的分割技術更多是為「拍人」準備的,它的確可以彌補 iPhone XR 、iPhone SE 這類單鏡頭手機在視差數據上的不足,但如果拍攝對象從人物換成其它物體,演算法也會出現一定概率的判定錯誤。

至於像 iPhone 11 Pro 這類多鏡頭手機,就算摳圖演算法有侷限性,但還是可以透過鏡頭硬體直接獲得視差數據,所以它們在使用自帶相機時,也能將人像模式用在非人臉情境中,效果也不會太差。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

當然,官方不支援的東西,第三方開發者還是可以拿來加以改造。如今 Halide 應用就支援 iPhone XR、SE 去拍攝小動物或其它物體的虛化照片,背後也是利用了蘋果的人像效果遮罩技術來構建深度圖,同時配合自己的後端優化。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

總得來看,本次新 iPhone SE 所實現的人像虛化拍照,算是單鏡頭手機靠軟體優化所能做到的極限了。嚴格意義上,這其實也得歸功於那顆 A13 晶片,如果不是它帶來了最新的機器學習演算法,單靠一顆過時的鏡頭,SE 的拍攝體驗顯然得打個對折。

這也多少證明,智慧型手機發展多鏡頭系統仍然是有意義的。我們可以用超廣角來拓寬取景視野,可以靠潛望式長焦獲得無損變焦照片,更別說 ToF、雷射雷達這類「特殊鏡頭」對 AR 擴增實境的探測幫助,這些都不是單純靠一個 OTA 升級,或是演算法就能實現的特性。

單鏡頭也能拍虛化照片,新 iPhone SE 是怎麼做到的?

當然,一味地吹噓、比拚鏡頭數量同樣令人厭煩,如果說硬體只是決定了成像的下限,那麼一套優秀的演算法,則可以顯著拉升成像的上限,甚至是重新壓榨出老硬體的價值和潛力。

不知道再等個四年,下一代 iPhone SE 面世時,單鏡頭還能否在手機行業留有一席之地?

題圖來源:Apple

👉 加入T客邦telegram送《任天堂Switch大補丸》 ( https://bit.ly/35gy8ig )  

ifanr
作者

ifanr依托於中國移動互聯網的發展大潮,用敏銳的觸覺、出色的內容,聚焦 TMT 領域資訊,迅速成為中國最為出色的新銳科技Blog 媒體。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則