手機上運算攝影功能這麼強,為什麼相機上頭都不用這技術?

手機上運算攝影功能這麼強,為什麼相機上頭都不用這技術?

最近智慧手機都強調「AI」的加持,在演算法的幫助之下,智慧型手機隨手一拍所得照片的觀感這麼好。那麼,為何傳統的相機廠商不去跟隨這股「運算攝影」的潮流,考慮提高照片直出的觀感呢?

是相機運算力不夠,算不過來?

這個問題我們先從「核心」談起。

手機的核心是 SoC,它內建了 CPU、GPU、ISP、NPU 以及基頻等,可以讓你打電話、拍照、看影片、玩遊戲、上網等操作,也直接決定了手機的性能。

而相機的核心部件是圖像感測器(CMOS),除了零組件面積外,跟手機差不多,作成像與感光。另外,控制整套相機系統的中央處理晶片叫做圖像處理器(Image Processor)。

手機上運算攝影功能這麼強,為什麼相機上頭都不用這技術?

以索尼的 BIONZ X 圖像處理器為例(α7 系列御用),它包括 SoC 和 ISP 晶片,並沒有將 ISP 內建在 SoC 內,優點是索尼可以自行根據 CMOS 的性能需求,而自行增加 ISP 晶片的數量(α7RIII 的 BIONZ X 就配備了雙 ISP),缺點就是內建化程度沒有手機那麼高。

BIONZ X 中 SoC 的作用跟手機的類似,控制操控介面與相機功能,性能要求並不高。對圖像感測器採集的「數據」進行拜爾轉型、解馬賽克、降噪、銳化等操作,多是依靠 ISP,最終把 CMOS 採集的數據轉換成相機的實時取景。在這個過程中,相機的 ISP 不涉及計算過程,只是把照片當做流水線上的產品,進行統一的處理。

索尼 BIONZ X 圖像處理器. 圖片來源:SONY

隨著現在相機的像素數、連拍速度以及影片性能不斷提升,相機的圖像處理器對圖片處理的速度和吞吐量需求很高,單一的數據量很龐大,在不涉及「計算」的前提下,相機圖像處理器的處理能力遠超過現在智慧型手機 ISP 的處理能力。

手機上運算攝影功能這麼強,為什麼相機上頭都不用這技術?

但說到運算攝影,或者說 AI 能力,就有些不太一樣了。智慧型手機的成像過程有些類似相機,不過在呈現最終畫面之前,還需要 ISP、DSP 的計算,實時調整、優化,尤其是在多鏡頭系統成為主流後,手機的計算數據量成倍增長。

在 iPhone 11 Pro 系列推出多鏡頭系統後,多鏡頭系統能夠平滑、無縫切換的背後是 A13 Bionic 中新增的兩個機器學習處理器龐大的數據處理能力,達到了每秒一萬億次,如此高頻高效的數據處理能力才算是吃下了三個鏡頭所產生的龐大數據量。

相機的圖像處理器多是對原始數據進行預處理,幾乎沒有計算的過程,而手機 SoC 則包括數據採集預處理以及後續的計算過程,二者著重的方向不同。

面向群體不同,市場細分的結果

手機運算攝影發展很快,根源還是因手機的圖像感測器(CMOS)尺寸太小,以現在的技術,想要在超過或者接近相機的效果,只能透過演算法優化,拼出觀感。比如說,自動 HDR、超級夜景、模擬大光圈、魔法去背等功能。

拍攝一張照片,iPhone 所做的「計算」過程. 圖片來源:Apple

但這些演算法的演繹,做到可以「個性化」干預還是很難,比如說濾鏡加到什麼程度,HDR 高光暗部保留到什麼程度等。不過,對於一般人使用的手機而言,儘可能讓大多數人拍出不錯的照片,更加符合手機的市場定位。

自相機發明以來,相機就有著絕對的「工具」屬性,為了高效,外觀、操控、功能等等均會向效率妥協。面向更小眾的職業人群,自然也會更符合他們的需求,相機們會儘可能的記錄色深、色彩、光線等訊息,以便使用者進行更大範圍的後製調整,直出好不好看,並不在他們的需求裡。

RAW 文件內記錄了更多的訊息,可以進行更大範圍的調整. 圖片來源:Ben Sandofsky

對於大多數沒有攝影基礎的人來說,隨手獲得一張觀感不錯的照片,遠比得到一張訊息豐富的照片更加重要。而對於面向專業領域的相機廠商們,提升 RAW 記錄的色深要比提升 JPG 直出效果更符合市場定位。

不過,事情並非那麼絕對,相機們也在嘗試改變。富士就一直致力於相機的直出效果,引入了「底片模擬」,透過不同的演算法,讓拍出的照片更有味道,觀感也更為好看。但這過程並沒有經過情境計算,而是需使用者自行選擇,這與手機的一些底片模擬 App 有些類似,涉及不到所謂的「運算攝影」。

AI 後製,才是相機的大方向?

攝影領域中,後製處理是必不可少的步驟,一方面,後製軟體可以充分利用 RAW 格式中所記錄的豐富訊息,另一方面也可借助 PC 的高性能和算力來對照片快速處理。

與相機廠商不同,幾乎主流的專業後製軟體都已開始在 AI 上發力,強調 AI 的處理能力。

後製軟體 Luminar 4 支援 AI 自動換天. 圖片來源:Luminar

Adobe 公司的 Photoshop 在近幾個版本的更新中,在摳圖、修復、磨皮等操作中加入了自動辨識功能,使得操作越來越無腦,效果越來越精確。而 Mac 平台上的 Pixelmator Pro 修圖軟體,早在 2018 年就開始借助蘋果的 Core ML 機器學習進行辨識圖像,進而進行色彩調整、摳圖、選取,甚至在壓縮輸出時,都運用了 ML 機器學習引擎。

Pixelmator Pro 2.0 的圖像編輯支援機器學習引擎助力. 圖片來源:Pixelmator

前文所提,現在相機廠商由於晶片 AI 算力限制,和面對小眾市場問題,幾乎沒有在計算攝影上發力。但後製軟體在 AI 上的爆發,也算是在側面彌補了相機們在計算攝影上的短板。

即使算上後製軟體的 AI,相機們依然沒有擺脫傳統的流程,相機們記錄,軟體們處理,這個過程對於大眾們來說,依然繁瑣。對於專業的攝影玩家,後製軟體 AI 的介入,的確能夠減少工作量,讓原本繁複的摳圖等操作變得輕鬆不少,但依然無法扭轉傳統攝影行業的照片處理(創作)流程,與手機截然不同。

2020 年 9 月全球數位相機出貨量,遠不及 2018 年. 圖片來源:CIPA

根據 CIPA 的數據,相機市場正逐步萎縮,與之相反的是,手機市場不斷的增長。智慧型手機上成為潮流的「計算攝影」,並不會改變相機日趨專業的方向,也不會扭轉相機市場逐步萎縮的局面。

換句話說,即使現在相機們有著與智慧型手機接近的「運算攝影」能力,就能挽救「江河日下」的相機市場嗎?答案當然是否定的,舉個極端的例子,拼直出可行的話,那富士相機會有著第一的市場市佔率。事實上,現在無反相機第一的寶座,反而被直出並不好看的索尼佔據著。

索尼微單已成為不少工作室的工作用機. 圖片來源:SmallRig

面對來勢洶洶的手機們,相機們只能向著更專業的方向發展,不斷的向上細分市場,近些年全畫幅的 4000 萬、6000 萬高像素,中畫幅的過億像素,以及微單影片能力不斷接近專業攝錄一體機,都是相機細分市場的產物。

相機專業化越來越強,也就意味著需要性能更佳的圖像感測器(CMOS),但「運算攝影」倚重單獨的機器學習模組,眾所周知,晶片的研發成本高、風險大,相機廠商們難以兼顧二者。運算攝影和發展專業化是兩條不同的道路,同時,對於專業使用者用處不大的「運算攝影」、「AI 干預」等特性,相機廠商大機率因平衡研發費用,暫時被戰略性放棄。

在現階段或者可見的未來內,想要相機廠商去擁抱「運算攝影」風險高、投資大,成效慢,是難上加難,更別說現在還有一堆專業後製軟體用 AI 修圖在後面追著了。

ifanr
作者

ifanr依托於中國移動互聯網的發展大潮,用敏銳的觸覺、出色的內容,聚焦 TMT 領域資訊,迅速成為中國最為出色的新銳科技Blog 媒體。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則