VR除了透過頭戴式顯示器以及動態感應，讓使用者能夠隨時「看到」虛擬實境世界，創造出身歷其境的體驗之外，音效也在其中扮演了相當重要的角色，出色的環繞音效能帶給我們更生動的沉浸感，進而提升VR的使用者體驗。Google為了協助開發者強化環繞音效，推出Resonance Audio開發工具。

我們也透過聲音認識環境

人類對於環境的感知能力除了透過視覺之外，聽覺也是建立環境感的重要因素之一，當我們身處於不同環境之中，聲音都會有不同的表現，例如在繁忙的大街上，可能會有數百種聲音從四面八方傳來，到了安靜的森林，就能聽見遠方溪流的聲音?，而在空曠的美術館，則能聽見腳步聲的迴音。

即便是2D畫面的電影，都具有5.1、7.1聲道或是更細膩的環繞音效，讓我們能更投入電影的世界，所以當我們在使用VR或AR等裝置的時候，更需要透過逼真的環繞音效，創造更加有感染力的虛擬空間，強化使用者身歷其境的感受。

▲在Resonance Audio的展示影片中，可以感受到音效對於沉浸感營造的重要性。如果有Daydream或SteamVR相容裝置的話，就能進一步體驗VR音效效果。

功能強大的跨平台開發工具

Google為了達到這個目標，推出的全新的Resonance Audio空間音效軟體開發套件，它是款以Google VR Audio為基礎的SDK，能夠支援Unity、Unreal、FMOD、Wwise、Web、Digital Audio Workstation (DAW) 、Android、iOS等平台，將環繞音效帶到電腦與各式行動裝置。

然而要在創造出色環繞音效的過程中降低運算資源消耗，就成了Resonance Audio的挑戰之一，尤其在效能較為低落的行動裝置更是如此，往往無法在複雜環境中，同時提供多個高傳真的3D音源。

為了解決這個問題，Resonance Audio採用高度最佳化的高階Ambisonics演算法，以利在不減損音質的情況下，同時處理數百個3D音源，此外Resonance Audio也會引用Unity提供的預先運算功能，利用於預先運算的混音效果，來模擬逼真的聲傳遞特性，並降低播放過程的處理器使用率。

▲ Resonance Audio能夠為電腦與行動裝置帶來逼真的環繞音效。

重現聲音傳到耳朵的過程

在真實世界中，聲音在經過環境傳遞的過程中，會產生許多變化，並且到達耳朵時，也會與耳殼產生互動，我們就是利用這種特性來分辨音源的水平位置與高度。Resonance Audio主要的運作原理，就是模擬聲音在環境中傳遞，並進入到耳朵的過程，以創造擬真的環繞音效聽覺感受。

人類分辨聲音方向的第一個要素，就是左右耳聽到聲音的兩耳時間差（Interaural Time Difference，ITD）。當不同水平位置的低頻音源到達耳朵時，會因為左右耳距離差異，而有些微的時間差，人腦可以透過這個差異分辨音源的方向。

高頻音源的水平位置，就無法透過ITD來分辨，取而代之的因素稱為兩耳水平差（Interaural Level Differences，ILD），這是由於我們的頭部會改變聲音傳遞到2耳的音量與頻率，聽覺神經就能藉此分辨音源方向。

至於音源的高度差異的方式，則是藉由聲音接觸到耳殼的反射，會因角度不同而形成不同的頻率變化，人腦就能透過這些細微的變化，分辨聲音是來自高處還是低處。

▲ 我們能夠因聲音傳遞到左右耳的時間差，判斷音源的水平方向。（圖片來源：Google，下同）

▲ 分辨音源的高低位置則與聲音和耳殼的反射角度有關。

（下一頁還有更多運作原理說明）