來源:映維網
當你嘗試伸手從蘋果樹上摘下一顆蘋果時,你會獲得一系列不同的感知體驗,如抱握蘋果時的硬度,拽拉蘋果時的樹枝阻力,摘下蘋果后手掌承受的蘋果重量,以及指尖觸碰蘋果時的光滑圓潤等等。
微軟研究院近年來在控制器方面取得了穩(wěn)步的進展,而團隊一直致力于實現一種能夠匹配頭顯逼真視覺的觸覺反饋。對于NormalTouch等設備,團隊可以在指尖模擬虛擬對象的表面傾斜質感與紋理;CLAW能給你一種用手指抓握對象以探索其順應性和彈性的感覺;而TORC則帶來了接近于現實世界的靈活度水平。利用所述原型,你可以感知虛擬蘋果皮,擠壓虛擬水果,并且用手把玩移動。但為了在虛擬環(huán)境中實現與虛擬蘋果的完全交互,我們必須同時考慮對象的空間動態(tài)?,F在,微軟提出了一種全新的控制器Haptic PIVOT,把力的物理性質帶到虛擬現實控制器。PIVOT屬于腕戴設備,是一種包含觸覺手柄的便攜式組件,可根據需要在手上來回移動。
相關論文:Haptic PIVOT: On-Demand Handhelds in VR
如果牛頓需要從一顆從虛擬樹上掉下來的虛擬蘋果中找到關于運動定律和引力定律的靈感,他將需要一個類似于PIVOT的控制器。通過將PIVOT固定到手腕,團隊可以渲染拋接對象的動量和阻力。這一切都受牛頓定律的控制,包括模擬對象到達手部時的速度:機器化的觸覺手柄在需要時展開,接近并最終到達手部,從而創(chuàng)造從空手到握著對象的首次接觸感覺,并以傳統(tǒng)手持控制器所無法做到的方式模擬我們與物理對象的自然交互。由波茨坦大學、微軟研究院、斯坦福大學和蘇黎世聯邦理工學院組成的團隊研究了PIVOT的性能和限制,并共同撰寫發(fā)表了名為《Haptic PIVOT: On-Demand Handhelds in VR》的論文。另外,所述小組將在本周舉行的2020 ACM Symposium on User Interface Software and Technology (UIST)大會介紹Haptic PIVOT。
PIVOT能夠按需提供關于虛擬對象的控制和觸覺渲染。它包括一個通過電動鉸鏈展開(左)和收回(右)的觸覺手柄。被動橈尺鉸鏈允許自然的手部傾斜。
1. 從物理到虛擬:按需提供
PIVOT的核心是鉸鏈機制和觸覺手柄。觸覺手柄屬于可換組件,能夠置換為現有的控制器。但在PIVOT的研究中,團隊為原型手柄配備了一個可以檢測對象接觸和釋放的電容式觸控傳感器;一個用于提供振動反饋的音圈致動器;以及一個用于控制輸入的觸發(fā)開關。觸覺手柄通過一個改進的伺服電機(驅動鉸鏈)工作,并且可以根據需要釋放到手掌,不需要時則收起以保持雙手自由。這種能力讓PIVOT成為增強現實或混合現實場景的理想選擇。例如,你可以正常操作鍵盤,使用鼠標,或者處理其他物理對象。只要需要,你快速擺動手腕即可啟動PIVOT,并將手柄旋轉釋放到手掌,這樣你就可以與虛擬對象進行交互。再次擺動手腕,手柄就會收回。兩個召喚動作都由一個內部加速度計進行檢測。
PIVOT可允許用戶的雙手自由活動,并在需要控制器時提供支持。手腕的快速擺動可以把觸覺手柄旋轉到手中。這種隨需應變的能力在增強現實或混合現實場景中非常有用。
基于電容式傳感器的感知,當用戶握著手柄時馬達就會停止運轉。被動橈尺鉸鏈可允許用戶在繼續(xù)握住手柄的同時左右移動(最高60度)和上下移動手腕。為了防止觸覺手柄在靜止位置和激活位置之間移動時撞到拇指,電動鉸鏈會向手部傾斜,而不是垂直于手部。另外,團隊設置了190度的工作范圍以防止手柄在不使用時妨礙用戶。
2. 原力與你同在
當與虛擬對象交互時,PIVOT將會閃耀其真正的威力。以從樹上摘蘋果為例。從蘋果進入工作范圍的那一刻起,機械、電子、固件和軟件就開始協同工作,直到蘋果停在用戶的手掌。
諸如微軟HoloLens這樣的頭顯可以針對雙手進行計算機視覺追蹤,這樣控制系統(tǒng)就可以檢測到用戶何時開始接觸目標,比如說蘋果。當蘋果位于30厘米的工作半徑內時,PIVOT會把觸覺手柄移動到一個預備位置。當用戶手部靠近蘋果不到10厘米時,手柄會按比例靠近,并在用戶用手指握住虛擬蘋果時落在手掌。手柄的移動速度與用戶伸手摘蘋果的速度一樣快,這樣可以提供非常逼真的沖擊模擬。沿手柄表面布置的四個電容式觸摸區(qū)會注冊用戶與手柄的接觸,并通過串行通信接口向虛擬手部發(fā)送信號,從而致使虛擬手部在用戶真實手部握住手柄時圍繞蘋果閉合。使用不到1毫秒的輪詢,接口提供了符合用戶期望的觸覺響應即時性。
當用戶伸手摘蘋果時(左圖),PIVOT會按比例將觸覺手柄旋轉到用戶手掌(右圖)
當拽拉蘋果時,你會遇到來自樹枝的預期阻力,因為PIVOT會通過馬達嘗試將觸覺手柄從用戶手部拉走。這種阻力將持續(xù)到蘋果從樹枝分離,這時音圈致動器將產生“砰”的感覺,然后用戶會感覺到蘋果落在手掌的沖力和重量。PIVOT不會將手柄拉走,而是將其壓入手掌,從而產生一種沖力和重量感。PIVOT可以在手掌和手指渲染這些力,因為它是基于手腕而不是手掌。只要簡單地轉動手部,松開手柄,你就可以把壞蘋果扔到地上,或者把一個好蘋果放到籃子里。另外,當戴在兩個手腕時,PIVOT可以促進雙手的交互,比如用手柄撿起籃子里的蘋果。設備可通過同步各自的觸覺反饋來呈現抓握的感覺。
雙手穿戴PIVOT可以實現雙手交互的觸覺反饋。在這里,被試正在拉伸和壓縮籃子,設備將同步向雙手渲染推拉力
3. 來玩球吧
在圍繞手腕穿戴PIVOT進行設計時,團隊首先考慮的是棒球。從向擊球手投球,再到跑向一壘,手臂會經歷很多事情。其他運動同樣如此。通過納入一種手腕形狀參數或設計,設備可以在不干擾玩家周圍物理環(huán)境的情況下提供更廣泛的活動性。
利用PIVOT,你可以拋接虛擬對象。接住飛行中的虛擬對象的反應時間要短于抓住靜止的虛擬對象(團隊可以通過視覺-運動錯覺來模擬以55.9英里/小時的速度投擲對象)。與模擬靜止對象的抓握一樣,接住虛擬對象的模擬要求PIVOT和視覺輸入正確對準,從而在對象碰到手部時進行精確的渲染。可以針對高速運動實現更大的碰撞半徑,從而提高設備的響應能力。
就像把蘋果扔到籃子一樣,投擲依靠PIVOT感知手部的運動和觸覺手柄的釋放。這與虛擬對象的釋放相吻合。松開后,馬達以物理正確的角速度(最高0.55毫秒/度)嘗試將手柄從手掌中拉走。換句話說,手柄可以在340毫秒內從被抓握到完全收回(大約190度),這是眨眼所需的時間。這種人與人之間的拋接對象和傳遞對象模擬不僅可以用于體育游戲,而且可以擴展到虛擬工作場所內的協作。例如,在實際制造產品之前,工人或設計師可以以全新的方式感受虛擬設計或產品的力感。
PIVOT不僅可以幫助你抓握虛擬蘋果,還能夠允許你把蘋果扔到籃子,往外拋擲蘋果,以及接住飛過來的蘋果。
4. 終極前沿
觸感是渲染的終極前沿。一旦你能夠在虛擬現實和增強現實中實現令人難以置信的逼真視覺效果,接下來你就要模擬與這種虛擬對象的自然交互。這時,觸覺將登上舞臺中心。
如今,虛擬現實的視覺效果已經能夠達到身臨其境和引人入勝,以至于當你戴上虛擬現實頭顯并進入一個蘋果掛在樹枝上的虛擬世界時,你會情不自禁地想伸手摘下它。但當你伸手去摘那只蘋果,卻感覺不到它的光滑和硬度、樹枝往后拉的阻力、或者它在掌心的重量時,這種錯覺就會破滅。借助PIVOT這樣的觸覺控制器,微軟的研究人員正在努力解決這一難題。
原文鏈接:https://yivian.com/news/79156.html