戴上VR頭盔就「沒臉見人」？ Google引用MR技術，即時移除影片中使用者的VR頭盔

如果在透過VR裝置享受虛擬實境樂趣的時候，想要拍下使用中的影片與朋友分享，就會遇到1個問題：臉被VR頭盔遮住了。為了要讓影片中的使用者，也「有臉見人」，Google特別研發了移除影片中VR頭盔的影像合成技術，讓系統能夠自動將使用者的臉合成到影片中。

臉被擋住看不到啦

先前筆者曾經介紹過，它是台能夠提供VR攝影功能的Webcam。當初筆者對這款產品最大的疑慮，就是使用者在聊天的過程中，為了要看到VR的視覺效果，所以彼此都需要帶上VR頭盔，然而如此一來使用者的臉就會被VR頭盔擋住，進而影響聊天的氣氛。

換個情境，你或許有在觀看遊戲實況轉播的時候，看過實況主配戴VR頭盔的情況，這時候除了無法看見他「置身」於虛擬實境空間中的情況，也沒辦法看清楚他的臉部表情。

目前已經有技術，能透過影像合成的方式，將虛擬實境空間與使用者合成在同個畫面上。其原理是透過綠幕攝影拍下使用中的影像，再搭配感應器偵測使用者在空間中的位置，然後將影片與虛擬實境合成，如此一來觀眾就會覺得影片中的使用者真的處於虛擬實境空間中。

▲戴著VR頭盔的使用者可以置身於虛擬實境，但是在旁觀者眼中他可能是這個樣子。

▲旁觀者不容易瞭解使用者眼中的世界是什麼樣子。（圖片來源：Google，下方無標示者亦同）

▲透過綠幕攝影方式拍下使用者，就能將影像與虛擬實境合成。

▲如此一來旁觀者就可以看到虛擬世界的模樣。但是現在的問題是仍然看不到使用者的臉。

為了解決這個問題，Google的研發團隊開發了特殊的MR技術，利用3D繪圖與合成的方式，達到移除VR頭盔的效果，讓影片觀眾能夠看到使用者的臉。

首先使用者需要透過特殊的攝影機，從各角度拍攝臉部，然後在螢幕前盯著移動中的白點，讓攝影機拍下眼睛看往不同方向的影像，如此一來就能建立臉部的3D模型，整個過程大約只需1分鐘。

接下來的手續，就跟前面提到的綠幕攝影大同小異，但是在影像合成的過程中，因為多了1個將臉部3D模型合成到VR頭盔區域的手續，因此需要精細校正VR頭盔在空間中的座標，以及其動態感應系統，讓影像能夠精準疊合在一起，不會產生異常的裂縫。

透過這種技術拍攝的影片，不但讓觀眾能夠看到使用者以及他與虛擬實境空間互動的情況，還能看到使用者在VR頭盔下的臉，提高影片的親切感。不過這個技術也有個小小的問題，那就是當使用者拔下VR頭盔之後，可能會因為畫面中出現2張臉而讓人嚇一跳。

▲在使用新技術之前，使用者需先透過特殊器材建立臉部3D模型。（圖片來源：Google）

▲如此一來就能使用影像合成的方式，移除影片中的VR頭盔。

▲使用者種技術拍攝的影片，可以讓觀重看見使用者身處的虛擬世界與臉部表情。

▲由於臉部影響是透過3D方式繪製，即便轉到側面也能正常顯示。

▲好玩的是如果拔下VR頭盔，畫面中就會出現2張使用者的臉。