頭戴顯示器騙過了視覺,手柄卻騙不過觸覺,是目前很多 VR 設備的尷尬。如果你是第一次玩 VR 設備,戴上頭戴顯示器看到逼真的影像後,多少會下意識伸手去感受。手伸出去後,卻發現可以穿過虛擬物體,視覺和觸覺產生了割裂,沉浸感頓時被打破。
通常,拿上帶位置追蹤功能的手把後,你才可以和虛擬物體進行互動。因為其成熟的技術和性價比,手把是 VR 設備現在主流的互動方式。然而,手把並不是最簡單、直覺和自然的——多少次你想伸手去抓一個物體,卻需要大腦把這個動作轉換成了「按下手把上的一個按鍵」。
在一個沉浸的虛擬環境中,不用經過大腦的動作,才是最符合自然行為的互動方式。
深圳一家初創企業 Dexta Robotics 正在往這個方向發展。創立於 2014 年的 Dexta Robotics(岱仕科技),將機器人技術和動作捕捉技術相結合,打造了一款便攜的、無線的力反饋手套 Dexmo。
Dexmo 可以做到什麼?
2019 年 6 月,在經過兩年多開發者版本的測試、改進後,力反饋手套 Dexmo 企業版正式發售。
觸覺可以分為動覺和觸覺,前者讓人感受到物體的形狀、重量和硬度,後者讓人感受到物體的紋理、粗糙度和溫度。 雖然 Dexmo 的名字是力反饋手套,但它的觸覺反饋版本也可以提供一部分觸覺。
從外形上看,Dexmo 像科幻電影裡怪獸的爪子。這些個「爪子」其實是機械外骨骼,承擔了收集手指運動數據、提供力反饋的功能。
機械外骨骼是一種穿在人身上的設備,可以給予人體額外的動力或能力,比如讓腿殘疾的人自己上樓。Dexmo 將機械外骨骼這一概念應用到了力反饋手套上。
整個設備的穿戴很簡單,主體結構(主控制器)用一條大綁帶固定在掌心上,手指結構透過魔術貼(力反饋版本)或指套(觸覺反饋版本)附著在對應指尖的上。指尖運動時,機械外骨骼會隨著一起移動。
比如,當你佩戴著 Dexmo 時,伸手去抓一個剛性物體(比如石頭),會感受到機械外骨骼的牽引力,讓手正好停留在虛擬石頭的表面,感受到石頭的形狀和硬度。
你用手去握捏一隻橡皮雞,不僅能摸到它的形狀,還可以感受到捏它後的反彈力。
你把手指放在水龍頭下面,能感受到水滴向下的衝擊力。
Dexmo 的觸覺反饋版本還能模擬一定程度上的觸覺,比如摸玻璃、木頭和砂紙,能感受到光滑、粗糙和顆粒三種質地。
Dexmo 是怎麼做到的?
要達到以上所述效果,Dexmo 需要首先捕捉到手部運動的數據,然後根據數據來模擬力的大小和方向,這兩部分分別對應的技術模組是「手部動作捕捉」和「力反饋」。
11 個動作捕捉感應器分別整合在 Dexmo 旋轉關節和力反饋單元(每個手指一個)裡。這意味著,Dexmo 能夠捕捉 11 個自由度的動作,包括大拇指的 3 個自由度(旋轉、展開和彎曲)和其餘四指各 2 個自由度(展開和彎曲)。
用戶戴上 Dexmo 手套開始運動後,感應器會將捕捉到的運動數據傳輸到上位電腦。電腦將數據輸入給虛擬空間裡的 3D 手部模型,讓模型和真實手部保持同步運動。
也就是說,Dexmo 為用戶在當下進入的虛擬空間裡,創建了一對虛擬手。用戶在真實世界所做的手部運動,全部會映射到虛擬手上。
一旦虛擬手和虛擬物體發生碰撞,電腦會算出實際上應該產生的力(包括向量方向和大小),然後對力反饋單元下達指令。這時,力反饋單元裡的電機會計算出力的大小,然後輸出大小可變的力反饋。
簡言之,就是外骨骼結構透過施加反向的力,把手指固定住。就好像現實世界中,手指觸摸到一個實體,會固定在其表面。
值得一提的是,當用戶觸摸的時柔性物體,比如捏橡皮雞,力反饋單元剛開始輸出的力比較小,容易擠壓。隨著物體變形,力反饋單元輸出的力會變大,變得難以擠壓,直至在某一個位置停住用戶的手。
Dexta Robotics CEO 谷逍馳表示類似的現有產品裡,Dexmo 是唯一一個可以做到柔性反饋的。
除了力反饋,Dexmo 還可以提供一定程度的觸覺反饋,也就是上文所說的,摸玻璃、木頭和砂紙能感受到光滑、粗糙和顆粒三種質地。谷逍馳表示,Dexmo 上的觸覺反饋類似 iPhone 上的虛擬按鍵,透過線性振動馬達輸出不同的振動波形來模擬不同表面的觸感。目前 Dexmo 具有五種基本波形,透過排列組合,可以獲得不同的觸感。
Dexmo 可以被用在什麼地方?
動作捕捉、力反饋和觸覺反饋這些特性,讓 Dexmo 具備了模擬逼真的動覺和觸覺的能力,可以幫助用戶完成手把難以做到的精細動作。
「我們瞭解到,現在 B 端一些客戶覺得只有手把的 VR 設備就是玩具,他們需要能夠完成精細動作的互動工具。」谷逍馳表示。
Dexmo 企業版已經正式開始量產發售,汽車製造是 Dexmo 應用的一大領域,奧迪、福特、豐田、本田等車企都是其客戶。Dexta Robotics 表示有車企正在使用 Dexmo 培訓新入職工學習安裝線束,讓工人的動作準確地反映在虛擬訓練中,靈活使用手指學習操作步驟,並即時得到評估,確保工人在正式上產線前達到規範要求。
除了工人培訓,Dexmo 還能被應用在改進車輛的設計流程。汽車設計師可以在 VR 裡實時觸摸到新設計並檢測創意,而不再需要製作昂貴耗時的物理原型。
汽車企業之外,Dexmo 還被太空航空、大學、醫院等機構採用。比如,機艙緊急逃生訓練、可視化操作、組裝機械。
▲(用 Dexmo 在虛擬環境力練習組裝無人機)
為了方便 B 端客戶使用,Dexmo 提供了 SDK(應用程式接口),支援 Unity 和 UE4 平台,且具有手部互動物理引擎。 企業和開發人員可以透過互動模組自行構建應用程式。
除了 B 端的客戶,三大 VR 頭戴設備廠商(HTC、Oculus、Sony)其中兩家跟 Dexta Robotics 有多次接觸,未來有望看到 Dexmo 被整合進去。或許過不了多久,Dexmo 不僅可以在 B 端專業操作場景發揮作用,還會被用於 VR 打麻將這樣的消遣遊戲中。
- 本文授權轉載自:PingWest(品玩)
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!