行動裝置跑不動 VR 、 MR 怎麼辦？ Google：偷工減料就好了

近年來VR虛擬實境與MR擴增實境的應用越來越受到重視，連智慧型手機在內的行動裝置，也能搭配簡易型頭戴式支架，作為VR、MR顯示器使用，不過由於行動裝置效能低落的先天缺陷，讓使用者體驗受到影響，於是Google研發了能夠犧牲些微畫質卻大幅提升效能的演算法，來解決這個問題。

行動裝置無法負荷運算需求

由於VR虛擬實境與MR擴增實等技術，會透過3D繪圖的方式建構場景，讓使用者走入完整的虛擬場景，或將部分虛擬場景融入到真實世界，如果想要提升VR或MR畫面的逼真度的話，勢必需要增加3D繪圖的細膩度，進而增加對3D繪圖的效能需求。

為了要帶來充沛的3D繪圖效能，往往需要仰賴強悍的顯示卡或顯示晶片，這對於桌上型電腦或筆記型電腦還算是可以解決的問題，但是在智慧型手機或平板電腦等行動裝置上，無論是顯示晶片晶片的尺寸、發熱量或是耗電量，都是無解的難題。

然而山不轉路轉，為了讓行動裝置也能提供較佳的VR、MR體驗，Google著手研發特殊的演算法，能夠將運算資源集中投注在畫面中人眼比較敏銳的區域，讓該區域維持一定的畫質，並降低其他區域的畫質表現，如此一來就能在有限的運算資源中，提升FPS效能表現，進而帶來更出色的視覺感受。

▲ 雖然Google Cardboard等簡易型頭戴式支架，能讓智慧型手機作為VR、MR顯示器使用，但是繪圖效能始終是最大的問題之一。

省略人眼不敏感的部分

為了改善VR、MR的視覺體驗，Google的研發團隊針對人類視覺感官的特性，研發了對應的演算法，能在低運算需求與低耗電的前題下，依然能夠兼顧從內容產製開始，一直到3D繪圖、資料傳輸、處理延遲、與真實物件互動等環節，提供出色視覺體驗。

在人類的視覺系統中，視網膜正中凹（Fovea Centralis）的功能能讓我們將視野正中央區域看得很清楚，並能降低大腦對於周圍視野區域的專注力，也就是說人類對於位在視野中央的物件有較外圍區域高的辨識能力。視網膜正中凹渲染（Foveated Rendering）就是利用這種視覺特性，藉由降低外圍區域繪製的解析度，來提升整體效能表現。

為了要達到這個目的，系統需要透過眼球追蹤功能，鎖定使用者的目光，以便推算出視覺的高敏銳（High Acuity）區域，讓該區域的畫面一直保持在高解析度狀態。反過來說，如果搭配視網膜正中凹渲染的系統不具備眼球追蹤功能，就需要繪製較大的高敏銳區域，來確保視覺體驗。

在傳統的視網膜正中凹渲染繪圖技術中，大多將畫格緩衝區（Frame Buffer）的整個畫面切割為多個小區塊，然而在使用者轉動頭部，或是畫面中景色產生移動時，屬於低敏銳（Low Acuity）區域的部分在拼合的過程就會產生混疊（Aliasing）瑕疵，進而影響視覺感受。

▲ 視網膜正中凹（圖中標示Fovea的部分）能讓人類聚焦於視野中央。

▲ 左半部為一般繪圖方式，整個畫面皆為相同解析度，右半部為視網膜正中凹渲染，只有黃色框內為正常解析度，周圍則為較低的解析度。（圖片來源：Google，下同）

▲ 左半部為一般繪圖方式，右半部為傳統視網膜正中凹渲染，畫面移動時比較不滑順。（點此處觀看GIF動態圖檔，檔案大小約8.3MB）

解決拼合瑕疵

混疊瑕疵會造成畫面移動時閃爍或抖動的情況，即便它產生在周圍區域上，使用者還是能夠輕易查覺到這類瑕疵，所以研發團隊提出2種最佳化方式降低混疊瑕疵。

在相位排列渲染（Phase-Aligned Rendering）方式中，系統會強制將低敏銳區域與虛擬空間貼齊，而不是跟著使用者的頭部轉動，如此一來當使用者改變視角的時候，就比較不易察覺混疊瑕疵，讓低敏銳區域在升頻並投影至顯示器時，能夠發揮補償頭部轉動的效果，降低畫面抖動的情況。至於高敏銳區域則是採用傳統的繪製方式，並覆蓋到畫面的中央區域。然而這種方式的缺點就是，系統需要繪製更大放範圍的圖像（包含視野外的部分），造成能夠節省的運算資源比較有限。

另一種方式則稱為保角渲染（Conformal Rendering），系統會根據使用者視點與物件之間的距離，動態調整繪圖的解析度，越遠的物件解析度越低（看起來也較模糊）。這樣的好處在於視覺感受與人類的經驗法則相近，而且畫面內高、低敏銳區域的界線不會那麼明顯，而且只需1次繪圖流程即可完成畫面繪製，能比相位排列渲染節省更多運算資源，但其缺點就是在畫面邊緣的抖動會比較明顯

▲ 相位排列渲染能夠有效降低畫面抖動狀況。（點此處觀看GIF動態圖檔，檔案大小約8.5MB）

▲保角渲染則有助於節省更多運算資源。（點此處觀看GIF動態圖檔，檔案大小約8.4MB）

頭戴式顯示器也有玄機

如果希望在傳輸影響的過程中節省頻寬，就能將畫面中人眼最敏感的部分以較高的資料流量傳輸，並將低其他區域的流量，如此一來就能省下一些頻寬。

另一方面，在一般情況下，頭戴式顯示器接收到畫面之後，還需要經過校正透鏡造成的變型等處理步驟，然而透過視網膜正中凹渲染產生的畫面，也可以依照高、低敏銳區域的不同，分別施以不同精準度的處理手續，例如在升頻之前先進行校正，就能省下不少運算資源。

▲ 將畫面依為人眼的敏感程度拆分為不同區塊，並分配不同的流量，就可以將傳輸頻寬花在刀口上。

▲ 以不同的精準度處理畫面中的各區域，也能省下運算資源。

研發團隊表示他們在這種演算法中，考慮了許多對繪圖、處理、傳輸造成的影響，並希望有助於下一代輕量、省電、高解析度的VR、MR產品發展，並能在近期帶來更完整的應用情境。