使用毫米波雷達來完成人機互動的 Google Project Soli 真的能顛覆觸控技術嗎？

Google 的Project Soli是使用毫米波雷達做人機互動的專案，最早於2015年的谷歌IO大會發布。在經過數年迭代後，在2019年初有了最新消息，即Project Soli系統所需要的13dBm發射功率通過了FCC認證，為Project Soli的真正商用化鋪平了道路。那麼，Project Soli能為觸控行業帶來什麼新動向呢？是否會顛覆原來的觸控技術？

觸控，3D觸控和手勢辨識

在正式分析Project Soli的技術之前，我們首先看幾個概念：觸控，3D觸控，以及手勢辨識。

觸控這個概念想必大家已經非常熟悉，簡而言之就是使用者透過接觸控螢幕與螢幕做互動，每天生活中使用的觸控螢幕就是觸控的典型例子。目前，觸控主要是用平面觸控，即觸控螢幕可以辨識使用者在螢幕平面上的按壓，拖動等動作。

目前的觸控技術還主要是在螢幕表面上的2D觸控技術

在平面觸控技術成熟之後，業界一直在尋找突破2D平面限制的方法。隨著AR／VR等下一代智慧型設備概念漸漸落地，伴隨著這些新設備的新互動方式也提上了議事日程。

大家都知道知，AR／VR等新一代設備需要沉浸感和體感體驗，因此使用傳統的平面觸控難以滿足這類下一代智慧型裝置的需求。

另外，隨著智慧型家電概念的進一步普及，越來越多的家電連上了網裝上了智慧型作業系統，傳統的幾個按鈕已經不能滿足操作的需求，根據應用場合，不少家電也在尋找非接觸式的操作（例如吸油煙機操作，大家一定都不想用手去摸那個油膩的操作面板）。隨著這些需求的興起，突破2D平面的觸控方法就成為了人機互動的新熱點。

超越2D的觸控又可以細分為兩種方法。一種方式是3D觸控。在3D觸控中，使用者無需真正實際接觸觸控螢幕就可以完成觸控螢幕上的點擊、拖拽等操作，可以想像成隔空操作平面觸控螢幕。此外，3D觸控螢幕還將支援記錄使用者手指距離螢幕的距離訊息，進而支援一些3D空間的新手勢操作。

與3D觸控相對的是3D手勢辨識。3D觸控會精確記錄使用者手在空間的3D（x,y,z）坐標，並根據該坐標的時間變化來完成相應互動。

3D觸控關注使用者手的絕對坐標，因此能完成鍵盤打字、按鍵等操作。而3D手勢辨識關注的是使用者手的整體在3D空間中的相對移動（而非絕對位置），並根據該相對移動來檢測手勢並完成互動。根據我們下面的分析，我們會看到Project Soli的技術主要針對3D手勢辨識應用，而3D觸控則需要使用其他技術來實現。

Project Soli的技術：原理，優勢和局限性

Project Soli使用的是毫米波雷達技術。與雷達的原理相似，Project Soli的雷達感應器晶片首先發射出電磁波，而發射的電磁波經過使用者手的反射回到感應器端，就能根據回波來檢測使用者手的位置和動態，並藉此完成3D非接觸手勢檢測。

Project Soli的雷達使用的是57-64GHz的頻段，理論上可以實現毫米等級的解析精度。根據報導，該雷達系Google和英飛凌合作設計，雷達感應器晶片可以整合到硬幣大小的晶片中，進而可以安裝在各類設備上。

下圖是Project Soli使用的毫米波雷達傳感晶片。晶片大小約為8mm x 10mm，上面白色的小點是用來把晶片固定到主板上的凸塊（bump）。晶片上還有天線陣列（綠色框內）用來實現波束成型，根據官方訊息該晶片上整合了四個發射機和兩個接收機，使用波束成形來提升解析度。

使用雷達的優勢首先是系統硬體比較簡單，也不需要一個實體螢幕，只需要一個雷達感應器模組就足夠了。另一方面，透過雷達回波的訊號處理和機器學習分析，可以做到手勢辨識之外的其他功能，例如物體檢測，物體材質檢測等等，有可能在未來開啟一些新的有趣的應用。

然而，使用毫米波雷達也有局限性。

首先，毫米波雷達如果需要做高精度高解析度檢測需要使用複雜的天線和／或多個雷達收發陣列。在60GHz頻段上，複雜的天線陣列的體積很大，因此在智慧型家電等應用上就難以使用。而如果使用多個雷達收發陣列則會大大增加系統功耗。

其次，Project Soli選擇60GHz頻段的主要理由是因為該頻段受到的政府管制較少，而且是免費使用；但是60GHz頻段的主要問題是它在空氣中衰減特別大，因為60GHz是氧氣的共振頻率，所以許多這個頻段的電磁波能量在傳播過程中就被空氣吸收了。

因此，使用60GHz實際上限制了Project Soli的檢測距離，另外由於電磁波能量被空氣吸收也會降低訊噪比，即降低檢測精度。這也是為什麼Project Soli需要向美國FCC申請提高60GHz頻段輸出功率的原因，主要預計就是為了提升檢測距離和精度。

綜合以上Project Soli毫米波雷達的優勢和局限，並結合應用的成本、體積、功耗限制，我們不難發現，Project Soli最適合的應用就是智慧型家電和設備上的近場手勢辨識，即檢測距離在一公尺以內的手勢辨識。

由於Project Soli的檢測精度有限，因此難以做到3D觸控所需要的絕對位置高精度檢測，但是手勢檢測應當不成問題；此外由於60GHz頻段的空氣衰減問題，限制了其檢測距離，因此較適合做近場手勢辨識。

其他3D手勢辨識和3D觸控技術

如前所述，Project Soli主要針對的是近場3D手勢辨識。為了滿足應用的需求，還會有其他技術在未來的3D手勢辨識和3D觸控領域受到關注。

在近場手勢辨識方面，超音波是另一個可選方案。超音波方案與毫米波方案原理相似，只是超音波方案使用的是超音波而不是電磁波。超音波方案的優勢是功耗較小（可以小於1mW而毫米波方案的功耗在10-100mW），缺點是必須使用CMOS工藝無法實現的超音波元件，而毫米波方案可以完全使用CMOS電路實現，整合度較高。

此外，不少應用會需要遠場（1公尺以上距離）3D手勢辨識技術，例如體感遊戲等。目前，這類遠場手勢／姿勢辨識主要使用鏡頭和電腦視覺算法來實現。隨著電腦視覺的發展，基於雙目攝影鏡頭、ToF深度感應器等的方案正在成為主流，同時我們也看到在這類遠場3D手勢技術正在進入越來越多的應用，包括大型商場的互動螢幕、AR／VR遊戲和互動等等。

除了手勢辨識之外，不少互動需要用到能記錄使用者手絕對位置的3D觸控。3D觸控可以看作是傳統平面觸控在3D空間的推廣，而3D觸控中的主流技術是電容感應技術。毫米波雷達技術利用的是動態電磁波，而電容感應技術利用的是靜電場。

電容感應型3D觸控技術是目前電容觸控螢幕的增強版：電容觸控螢幕可以感應到與螢幕接觸的手的位置，而電容感應式3D觸控技術則增強了感應範圍，在手尚未接觸到螢幕時就能感應到手在空間中的3D位置，從而實現3D觸控。

為了理解電容感應式3D觸控的原理，我們不妨想像有許多熱感應器組成的陣列，而感應器陣列上方有一個火苗（熱源）。根據感應器的相對溫度分佈（即哪裡溫度比較高，哪裡溫度比較低）我們可以知道火苗在哪一個感應器上方（即火苗的2D位置），根據感應器的絕對溫度（即感應器探測到的絕對溫度有多高）我們可以知道火苗離感應器有多遠（即火苗在空間中第3D的位置）。

結合這兩條訊息我們可以得到火苗在空間中的3D位置。電容傳感式3D觸控的原理也是這樣，只不過這裡探測的不是火苗帶來的溫度改變而是手指帶來的靜電場改變。

通過探測哪一個電容感應器探測到的靜電場改變最大我們可以感應到手指的2D位置，而通過電容感應器探測到靜電場改變的絕對強度我們可以感應到手指的第3D坐標，從而實現3D觸控。

電容傳感式3D觸控的優勢在於感應器的功耗可以遠遠小於毫米波雷達（大約僅僅是毫米波雷達的十分之一甚至更小），因此可以安裝在對功耗比較敏感的移動設備上。此外，電容傳感式3D觸控可以更精確地記錄使用者手指的絕對位置，在相同條件下其精度比毫米波雷達更好。

當然，電容感應型3D觸控還是會需要一個螢幕，因此比起無需物理螢幕的Project Soli來說，電容感應型3D觸控模組的體積會更大一些。

目前，電容感應型3D觸控模組已經進入商用階段，由普林斯頓海歸博士創立的珠海普林晶馳已經有獨立智慧財產權的3D觸控晶片模組問世，目前正在與美的、格蘭仕等家電公司聯合探索3D觸控在智慧型家電領域的應用。

未來的觸控市場趨勢

根據前文的分析，我們可以看到Project Soli的近場3D手勢辨識方案的應用場景比較有限，對於觸控市場的影響在未來幾年內也並不會很大。我們預計，在手機等觸控的存量市場，未來幾年還是會以傳統平面觸控技術占主流，畢竟在手機等設備上目前還沒有看到很強的3D手勢辨識和3D觸控的需求，同時平面觸控的互動已經非常成熟，使用者體驗很好。

但是，這並不意味著3D手勢辨識和3D觸控不重要。在智慧型裝置的增量市場，包括AR／VR、智能互動屏、智慧型家電等領域，傳統的平面觸控往往不再好用，而必須使用新的3D互動。

根據目前技術成熟度和應用成熟度，我們預計基於電腦視覺和ToF／雙目攝像頭的遠場3D手勢辨識將最先大規模落地，一方面因為遠場3D手勢辨識在XBOX Kindle等應用中已經有不少積累，設計師對如何設計互動介面已經有一定心得；此外應用端的商場內智慧型大螢幕等應用正在快速找到能獲利的商業模式。

在遠場手勢辨識之後，我們預期近場3D手勢辨識和3D觸控的成熟時機將取決於具體應用的落地速度，目前來看主要會用在智慧型家電上，但是使用3D互動究竟能提升多少使用者體驗，目前來看還需要進一步努力才能看到。