AutoFlip開源影片處理技術，橫轉直不再追錯焦

無論是傳統SD影像或現在主流的HD影像，畫面的長寬比例都以4:3或16:9為主，呈現左右較長、上下較短的版面。而大家手持智慧型手機觀看影片時，往往會維持手機直立的姿態，因此不是要忍受狹小的影片畫面，就是要讓影片拉至滿版播放，而犧牲左右側的畫面，讓人頭痛不已。

影片轉正後……你在拍哪？

目前大多數的電視節目、影片，大多是以橫向16:9比例拍攝，所以要在9:16或9:21的直向智慧型手機螢幕播放時，最簡單的方式就是將手機橫置，如此一來就能顯示完整影片畫面。然而在不方便橫置時，就需在直立畫面上播放影片，如此一來就會引發畫面過小、或畫面被裁切的問題。

為了要提升影片觀賞體驗，有不少內容提供者透重新剪裁（Reframe）的方式，在將影片由橫轉直的過程中，重新指定畫面裁切的範圍，讓畫面中的主體能夠正確出現在處理過的影片內。然而這種使用這種方式處理影片，會導致另一個問題，如果固定裁切範圍可能會造無法正確鎖定主體，但使用動態裁切範圍則需要大量人力手工調整。

目前雖然有些軟體可以達到動態裁切，但效果並不一定十分理想，為了解決這個問題，Google宣佈了開源的AutoFlip影像處理框架，它建立在MediaPipe框架的基礎上，可以將任何輸入的影片轉換為橫向、直向或1:1等不同顯示比例，並在轉換過程中自動追蹤影片主體，以提供最佳化的結果影片。

▲ 直接將橫向影片轉直並剪裁，很可能會出現主體沒有出現在畫面中的狀況，AutoFlip則可解決這個問題。（圖片來源：Google，下同。GIF動圖，檔案尺寸：6.53MB）

自動鎖定裁切範圍

AutoFlip是款全自動的影片轉正處理解決方案，它會透過機器學習的協助理解影片內容，先偵測場景變化以區隔不同的場景，然後自動檢測並追蹤各場景中的主要物件，以達到最佳重新構圖的效果。

在AutoFlip運作的過程中，第1步就是偵測場景變化，系統會統計畫面中顏色出現的狀況，當顏色的數據出現劇烈變化時則視為場景已改變，並根據這些記錄將影片切分為多個片段。

接著在2步中，系統會分析各片段，並分析畫面中人物、動物或是體育活動中的球等可能是主體的物件，每種物件都有對應的權重值，權重越高代表越為重要，也代表在重新安排構圖時可以獲得更長的出現時間。

當整個片段都分析完畢後，AutoFlip會根據影片內容自動選擇靜止、平移或追踪等重新構圖方式，靜止模式會將畫面焦點鎖定在特定物件上，也順便發揮防手震的影像穩定功能，平移模式則會以固定的速度移動鏡頭，追踪模式則是跟隨物件穩定移動鏡頭，可以處理運動方式比較複雜的物件。

▲ AutoFlip將處理過成拆分為偵測場景變化、追蹤物件、重新構圖等3個步驟。

▲ 追蹤物件可依影片內容不同，自動判斷需要追蹤的物件或人物。

▲ AutoFlip也顧慮到觀賞影片的舒適度，會自動調節裁切範圍（圖中亮色區塊）以讓畫面移動較為平滑。（GIF動圖，檔案尺寸：10.7MB）

▲ AutoFlip可以自動將影片裁切為多種不同比例。（GIF動圖，檔案尺寸：7.93MB）

AutoFlip雖然不是萬能的影片處理工具，但已經能在提供理想裁切效果的前提下，大幅降低調整影片的人力需求，而且它可以透過機器學習的方式不斷提升辨識準確度與處理的成效，功能勢必隨著時間來越來越強大。