自拍照越來越好看，夜拍不用腳架也不抖！回顧 AI 如何影響手機影像的4個階段

即使是在運算攝影的早期階段，圍繞機器學習而設計的手機鏡頭也能帶來真正的好處。事實上，過去幾年人工智慧炒作浪潮帶來的所有可能性和應用中，今天運用最實際的領域可以說就是攝影。

除了炒作和吹牛，過去的幾年裡攝影技術取得了驚人的進步，且進步最大源自人工智慧，而非感應器或鏡頭,這主要歸功於人工智慧讓鏡頭更精準地捕捉景象。

1.Google Photos帶來的便利

2015年Google Photos發布之際，清楚地展示了人工智慧和攝影技術混合後強悍的功能。在此之前，Google這家搜尋巨頭多年來一直使用機器學習對Google+中的圖片進行分類，但其現今推出了照片應用程式包括面向消費者的人工智慧功能，這是大多數人無法想像的，數千張無標籤的照片儲存在手機裡，雜亂無章的圖庫一夜之間轉換成可搜尋的資料庫。突然間，或是說看似突然，Google知道了你家貓的長相。

Google取得的突破基於2013年收購DNN搜尋的前期工作，該技術可以建立一個受人類標記資料訓練的深度神經網路，稱之為監督學習，這個過程包括對網路進行數百萬張圖像訓練，以便它可以通過像素尋找視覺線索，幫助辨識分類，隨著時間的推移，該演算法在辨識方面越來越出色，拿貓熊舉例，曾用來正確辨識貓熊的模式都會被納入，具體來說，它可以習得黑色皮毛和白色皮毛之間的分佈關係，貓熊與霍爾斯坦乳牛的毛色區別，經過進一步的訓練，該演算法可以用來檢索更抽象的術語，如「動物」或者「早餐」，也許檢索出來的並非是常見的視覺圖像，但仍可一眼認出圖像主體。

訓練這樣的演算法需要耗費大量的時間和處理能力，不過在資料中心完成任務後就可以在低功耗的行動裝置上運行，並且不費事，繁重的工作已經完成，因此一旦你的照片上傳到雲端，Google就可以用自己的模型來分析和標記圖庫，Google Photos發布約一年後，蘋果公司宣布了一項在神經網路上接受過類似訓練的照片搜尋功能，但作為公司對隱私承諾的一部分，實際分類在每個設備的處理器上單獨進行，不需要傳送資料，而這通常需要一兩天時間在設置好的後台進行。

2.「運算攝影」成為新主流

智慧照片管理軟體是一回兒事，但首先要說的是人工智慧和機器學習對圖像的捕獲方式產生了更大的影響，毫無疑問，鏡頭會繼續變快，感光元件也總能變大一點，但涉及將光學系統塞進輕薄的行動裝置，我們已經快接近物理限制，儘管如此，現在的手機在某些情況下能拍出比許多專業相機設備更好的照片。漸漸地傳統相機無法與同樣配備高級攝影SoC的系統競爭，其包括一個中央處理器、一個圖像訊號處理器，以及一個越來越多的神經處理單元（NPU）。

「運算攝影」成了一個新的名詞，這是一個廣義的術語，譬如手機肖像模式的假景深效果，以及有助於提升Google Pixel圖像品質的演算法，並非所有運算攝影都涉及人工智慧，但人工智慧必定是其中一個重要組成部分。

3.雙鏡頭與AI演算法

蘋果在運算攝影技術上最主要的發展就是其手機的雙鏡頭肖像模式，蘋果手機的圖像訊號處理器依靠機器學習，透過一個鏡頭辨識人像，另一個鏡頭創建深度圖以分離拍攝主體和模糊背景，2016年此功能首次亮相時，透過機器學習辨識人像的技能並不是什麼新鮮事，因為圖片處理軟體已經在做這個了，但以智慧手機鏡頭所需的速度即時辨識則是一項重大突破。

然而，Google預設的拍攝模式HDR+使用了一種更複雜的演算法，將幾個曝光不足的影格合併為一個，正如Google運算攝影負責人馬克·勒沃伊（Marc Levoy）所說，機器學習意味著系統只會隨著時間越來越好。就像Google Photos，Google已經將其人工智慧訓練在一龐大的標籤照片資料集上，進一步輔助相機曝光，尤其是Pixel 2產生的基線圖像品質非常好，The Verge網站在專業工作中也會使用到，效果非常滿意。

不過Google的優勢從來沒有像幾個月前推出夜視系統那樣突出，新版Pixel將長曝光縫合在一起，使用機器學習演算法計算更精確的白平衡和顏色，坦白說，效果令人驚艷，因為演算法的設計以最新的硬體為依托，該功能在Pixel 3上效果最好，不過Google為各種Pixel版本的手機都推出了夜視功能，即使是缺乏光學圖像穩定性的原始圖像也可以處理，這說明了軟體在行動攝影領域比相機硬體更重要。

4.從圖像訊號處理器進化到神經引擎

從上可知，硬體仍有進步的空間，特別是在人工智慧的支援下。

據了解，華為和榮耀的新款手機第一個使用了索尼IMX586圖像感應器，這是一個比多數競爭對手都大的感應器，有4800萬像素，是目前任何手機上看到的最高解析度，但這也意味著要在一個很小的空間裡塞進許多微小的像素，圖像品質往往會成問題。然而，在測試中榮耀的「人工智慧超高解析度」模式擅長最大限度地利用解析度，去除感應器異常的濾鏡，呈現額外的細節，這也會產生巨大的照片，放大看需要幾日時間。

圖像訊號處理器在一段時間內對手機相機的性能非常重要，但隨著運算攝影技術的發展，NPU可能會發揮更大的作用，華為第一個宣布採取專用人工智慧硬體SoC系統Kirin 970，儘管蘋果的A11 Bionic最終率先到達了用戶端，全球最大的Android處理器供應商高通公司尚未將機器學習作為主要的焦點，Google方面開發了自己的晶片，Pixel Visual Core，幫助完成與人工智慧相關的成像任務。

與此同時，最新的蘋果A12 Bionic配備8核的神經引擎，在蘋果的機器學習框架Core ML中運行任務，比A11快九倍，並且實現首次直接連接到圖像處理器。蘋果公司表示，這能讓相機更好地解析對焦平面，例如產生更真實的景深。

由於SoC對處理器的要求非常高，對於提高設備機器學習的效率和性能而言，它將越來越重要，別忘了，Google Photos的演算法是在具有強大GPU和張量運算核心的電腦上訓練，然後再放進照片庫，可以說大部分工作都可以「提前」完成，不過在行動裝置上即時進行機器學習計算的能力仍然是最尖端的科技。

Google已經展示了一些可以減輕處理負擔的工作，令人印象深刻，神經引擎在這一年裡也越來越快。即使是在運算攝影的早期階段，圍繞機器學習而設計的手機鏡頭也能帶來真正的好處。事實上，過去幾年人工智慧炒作浪潮帶來的所有可能性和應用中，今天運用最實際的領域可以說就是攝影。

相機是任何手機的基本功能，而人工智慧是我們改進它的最佳手段。