每一個新的運算平台都帶來了我們與裝置互動方式的範式轉變。 滑鼠的發明為今天主導PC世界的圖形使用者介面（GUIs）鋪平了道路，而智慧型手機直到觸控式螢幕的出現才開始真正獲得影響力。
同樣的規則也適用於可穿戴裝置和AR，想像一下，在晨跑時只需輕輕一觸指尖就能拍照，或者用幾乎察覺不到的手部動作來導航選單。
AR時代革新人機互動
在先前Connect 2024大會上，Meta展示了EMG腕帶與Orion增強現實眼鏡的產品原型。這兩大神器疊加在一起，科幻電影中才會出現的「隔空打字」場景或許即將實現。
Orion AR眼鏡
meta推出的肌電圖腕帶
戴上這樣一個腕帶，你讓雙手舒適地放在身側，同時進行滑鼠的滑動、點選和滾動等操作，無縫控制數字內容。
未來還將有許多其他應用場景，包括在增強現實中操縱物體，或者像在鍵盤上打字一樣——甚至更快，快速輸入完整資訊，幾乎無需費力。
其實兩年前Meta就初步公開過這款原型產品，現在可以看出來產品更成熟了。
在近日的NeurIPS 2024 的「資料集和基」子會場中，Meta發佈了兩個資料集——emg2qwerty 和 emg2pose，展示在硬體層面僅僅依靠腕帶的情況下，如何產生比細微手勢更豐富的輸入資料集。
原文地址：https://arxiv.org/abs/2410.20081
原文地址：https://arxiv.org/abs/2412.02725v1
用於隔空打字的資料集emg2qwerty
表面肌電圖（sEMG）是在皮膚表面測量由肌肉產生的電勢，它能夠檢測到由單個運動神經元引起的活動，同時是非侵入性的。
具體來說，對於單個的脊髓運動神經元，其細胞體位於脊髓中，向肌纖維中投射一條長軸突，每條肌纖維只被一個運動神經元支配。
脊髓運動神經元放電時，就會觸發它支配的所有肌纖維收縮，同時放大了來自神經元的電脈衝。正是這些來自肌纖維的電訊號，可被皮膚上的sEMG感測器檢測到。
用於資料收集的表面肌電圖研究裝置（sEMG-RD）及其腕圍電極放置的示意圖
基於腕帶的打字系統旨在解決可穿戴裝置的文字輸入問題，實現無需物理鍵盤的觸摸打字。
僅使用手腕上檢測到的肌肉電訊號，系統將可自動解碼並對應至虛擬現實中投影的電腦鍵盤按鍵。
這意味著，使用者未來可以在沒有物理鍵盤的情況下，無論在桌子上、腿上還是廚房桌子上打字，都能如同在實際鍵盤上一樣輸入。
一個針對提示「the quick brown fox」的表面肌電圖（sEMG）記錄示例，顯示左右腕帶上32通道的表面肌電圖訊號和按鍵時間；垂直線表示按鍵開始，每個電極通道的訊號經過高通濾波
emg2qwerty資料集包括從兩隻手腕獲取的高解析度sEMG 訊號，與QWERTY 鍵盤的真實按鍵同步。該資料集總計包含108名參與者完成的、涵蓋廣泛單字和句子打字提示的346小時記錄，共計超過520萬次按鍵。
emg2qwerty資料集分割的可視化。每一列代表一個使用者，每一個方塊代表一個會話，方塊的高度表示其持續時間
如何僅通過表面肌電圖資料中檢測到使用者按了哪個鍵呢？為瞭解決這個核心問題，Meta開發了受自動語音識別（ASR）領域啟發的方法。
該方法同樣模擬了給定連續多通道時間序列下，預測離散字元輸出序列的任務。為了給emg2qwerty建構強大的基線，Meta嘗試了新穎的網路架構、不同的訓練損失以及語言模型的使用，始終關注表面肌電圖資料的獨特領域特徵要求。
研究發現，在100個使用者的規模上，儘管生理、解剖、行為、頻寬大小和感測器放置存在差異，使用者間的泛化仍然可出現。
當使用大約半小時的個體使用者打字資料來個性化模型時，性能的進一步提升隨之而來。通過整合語言模型來最佳化結果，可將字元錯誤率降至 10%以下——這個值被認為是一個使文字模型可用的關鍵閾值。
隨著資料集的增加，類似語言模型中的Scaling Law將會生效，從而使得對使用者輸入的預測更加精準。
emg2pose姿態估計：可完全預測使用者的手部組態
另一個名為emg2pose的資料集，旨在解決肌電訊號與手部運動之間的對應問題，這對於人機互動、康復工程和虛擬現實等領域具有重要意義。
該資料集包含來自193名參與者的370小時sEMG和手部姿態資料，從29個不同的行為組中採集，包括拳頭、從一數到五等眾多動作。
資料集包含25253個HDF5檔案，合計達到431GB。每個檔案包含時間對齊的2kHz表面肌電圖資料和單手在單一階段的關節角度。
手部姿態標籤是通過高解析度動作捕捉陣列生成的。完整資料集包含超過8000萬個姿態標籤，其等效規模已經可以與最大的電腦視覺資料集比肩。
emg2pose資料集組成：a)sEMG-RD腕帶和動作捕捉標記（白色圓點）設定 b) 資料集分解；i）使用者被提示執行一系列動作類型（手勢），如上下計數，同時記錄 sEMG 和姿態 ii) 特定手勢類型的組合構成一個階段
emg2pose資料集的主要特點在於其高頻率的表面肌電圖記錄（2kHz）與精確的動作捕捉資料相結合，提供了對手部細微運動的深入洞察。
此外，資料集包含詳細的中繼資料，如使用者ID、會話、階段、手部側向、是否移動等，便於進行多樣化的分析和實驗。資料集還提供了訓練、測試和驗證的劃分，支援多種泛化類型的研究，包括跨使用者、跨階段以及跨使用者和階段的泛化。
在基準測試中，emg2pose還提供了具有競爭力的基線和具有挑戰性的任務，這些任務評估了在排除使用者、感測器放置和手勢姿態方面的物理世界泛化場景。
該研究還介紹了一種新的最先進模型，用於從表面肌電圖進行姿態估計的 vemg2pose模型，通過整合對姿態速度的預測來重建手勢姿態。
研究人員將emg2pose以及另外兩種當代基線用於sEMG的姿態估計，並分析了它們在泛化條件下的性能。結果顯示：emg2pose模型在對不同使用者的資料集進行預測時，僅顯示1釐米誤差，從而在廣泛的運動範圍內實現了高精確度的跟蹤。
emg2pose不僅提升了動作識別的精準性，還為手勢控制、康復治療等有潛在的應用可能。
在醫療康復領域，通過分析患者的sEMG訊號，可以即時監測和評估手部功能的恢復情況，為個性化康複方案的制定提供科學依據；
在人機互動領域，該資料集支援開發更加自然和精準的手勢控制系統，提升使用者體驗；
此外，emg2pose還可應用於虛擬現實和增強現實技術中，實現更加逼真的手部動作捕捉和互動。
Alongside emg2pose (https://t.co/WkShbhy3sH), @RealityLabs also released emg2qwerty (https://t.co/EzHu0WNn4D). These datasets combined are 716 hours! (I believe they're the largest public EMG datasets to date.) More on both here: https://t.co/Ns4S6viOGr pic.twitter.com/i2zrNn2bXB
— PerlinWarp (@perlinwarp) December 5, 2024
參考資料：
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！