隔空打字成真！新研究「空氣輸入法」讓使用者在空中動動手指就能給智慧手錶輸入文字

智慧手錶目前越來越普及，但是它的文字輸入卻只能靠語音、打字或手寫。但有時使用者可能不方便說話，而且在那麼小的螢幕上戳鍵盤實在也有點侷促。現在，也許你可以試試「隔空打字」法。

中國浙江大學開發了一個名叫 AirText 的應用程式，只需動動手指和手腕，手錶就能識別字符，且錯誤率低至 3.9%。另外這個應用程式還有聯想和推薦字詞的功能，讓拼寫速度更快。

開發 AirText 的主要挑戰，在於如何讓它理解手腕運動和指尖拼寫動作的對應關係。如下面這張圖所展示的，拼寫時手腕呈現出來的軌跡和正常字母差得還挺多的。

為此，研究團隊藉助了一個現成工具 Leap Motion，它可以用紅外傳感器來跟蹤手勢。然後八名志願者使用五種不同的智慧手錶拼出超過 25000 個字符，用 Leap Motion 收集相關的手腕和手指運動數據。

再將數據輸入神經網路模型，進行訓練，最終 AirText 可以根據使用者手腕微小的動作變化推斷指尖的軌跡。接著，僅通過智慧手錶就可以高效、準確地將推斷出軌跡，再識別為相應的字符。

為了加快拼寫速度，系統也配有單詞預測和推薦功能。預測單詞會顯示在手錶螢幕的四個方向，只要可以將手錶向上下左右傾斜就能進行選擇，而晃動手錶則可以退格。

在 AirText 的準確性測試方面，衡量指標為 WER（詞錯誤率，Word Error Rate），計算方法為：錯誤字 / 識別正確的字。

其中錯誤字涉及三種類型：漏字（用 I 表示，即校對成正確的拼寫時需要再插入的字的數量）、多字（用 D 表示，即需要刪除的字數量）、錯字（用 S 表示，即需要替換的字數量）。

將 AirText 與兩基線方法（IMU-CNN 和 BLSTM）相比，最終 AirText 得分最低，也就是準確性最高，三者平均分分別為 3.9%、30.9% 和 57.1%。

以上是單使用者在單設備上的測評結果。為了更準確，他們還測試了多使用者和多設備，結果如下：

左圖中，同一個使用者使用 5 種不同智慧手錶測試 AirText 獲得的準確率得分分別為：8.3%、7.5%、6.5%、7.7% 和 3.9%。研究人員表示，7% 的 WER 意味著平均每 15 個單詞中有一個識別錯誤，這對於隔空手寫來說還是可以接受的。

右圖中，8 位不同使用者使用同一手錶獲得了 11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7% 和 3.9% 的 WER。從中我們可以看出，與不同的設備相比，不同的使用者對準確性的影響更大。不過研究人員表示，藉助模組的更新，AirTex 仍然可以針對不同使用者實現較高的準確率。

然後是速度測試。由於 BLSTM 基線的 WER 約為 57%，錯誤率太高，研究人員只比較了 AirText 和 IMU-CNN 兩者的速度。衡量指標是 WPM（單詞 / 每分鐘，Word Per Minute），其計算方式為用總體輸入字數-錯誤字數 / 時間。

結果 AirText 的平均 WPM 為 8.1，而 IMU-CNN 基線的 WPM 僅為 4.6。

研究人員指出，此輸入速度與一些觸控螢幕的文字輸入法相當（這些方法在實際應用中的 WPM 為 9.1、9.8WPM）。

總體來看，AirText 的準確率不錯，但速度還需要進步。慢的主要原因，是因為它每拼寫一個字符就需停頓一會兒。目前研究人員正在研究解決方式，並表示最終也可能將 AirText 商業化。

資料來源：量子位