近日,蘋果申請(qǐng)的一項(xiàng)專利顯示,除了眼鏡和耳機(jī),蘋果還在為其VR(虛擬現(xiàn)實(shí))戰(zhàn)略研發(fā)一款專用手套。專利中提到,該手套支持檢測(cè)各種手勢(shì)動(dòng)作,適用于筆記本電腦、平板電腦和智能手機(jī)等多個(gè)場(chǎng)景,還可應(yīng)用到全息投影模組、聯(lián)動(dòng)PC和打印機(jī)等設(shè)備的場(chǎng)景,讓用戶在虛擬中體驗(yàn)真實(shí)的觸感。 

隨著VR技術(shù)的不斷提高,用戶對(duì)VR交互的需求也日益增長(zhǎng)。作為人們最常用的信息輸出器官之一,手如何在VR世界中實(shí)現(xiàn)交互引發(fā)了人們的廣泛關(guān)注。

手柄、手套和手勢(shì)實(shí)現(xiàn)手部VR交互

VR產(chǎn)品的核心是通過構(gòu)建虛擬的世界,讓用戶擁有沉浸式體驗(yàn)。除三維圖像外,VR與人手部的交互也是沉浸式體驗(yàn)中最重要的一部分。北京凌宇智控科技有限公司的CEO張道寧告訴《中國(guó)電子報(bào)》記者,目前手部VR的交互可通過VR手柄或VR手套這種非裸手的方式實(shí)現(xiàn),也可通過手勢(shì)識(shí)別這種裸手的方式實(shí)現(xiàn)。

張道寧向記者介紹,利用VR手柄實(shí)現(xiàn)VR手部交互是當(dāng)前市場(chǎng)的主流,這種方式具備明顯優(yōu)勢(shì)。第一,VR手柄可實(shí)現(xiàn)標(biāo)準(zhǔn)化生產(chǎn);第二,VR手柄成本較低;第三,VR手柄有較高的可靠性,人手部的每個(gè)動(dòng)作幾乎都可通過手柄實(shí)現(xiàn)交互;第四,VR手柄可通過振動(dòng)實(shí)現(xiàn)物理反饋,給予用戶一定的沉浸式體驗(yàn)。

張道寧指出,使用VR手套也是現(xiàn)階段VR領(lǐng)域比較重要的一種手部交互方式。VR手套上布滿傳感器,對(duì)人手部動(dòng)作的捕捉非常精細(xì),同時(shí)也能夠給予用戶力反饋。當(dāng)用戶握住虛擬物體時(shí),手套的系統(tǒng)會(huì)自動(dòng)創(chuàng)建接觸對(duì)象的形狀,以確保用戶在接觸虛擬物體時(shí)也能有真實(shí)的觸感。在手指力方面,VR手套會(huì)在手指位置配備力傳感器,實(shí)現(xiàn)對(duì)不同握力和壓力的即時(shí)反饋。

那么目前我們有沒有可能在VR的世界中“解放雙手”,無需外部設(shè)備,裸手實(shí)現(xiàn)交互呢?對(duì)此,張道寧表示,現(xiàn)階段的裸手交互主要通過視覺、紅外和超聲波這三種方式實(shí)現(xiàn),無需設(shè)備即可實(shí)現(xiàn)VR交互,能給用戶帶來極大便利。

uSens凌感科技有限公司CEO何安莉告訴記者,裸手交互是通過計(jì)算機(jī)視覺實(shí)現(xiàn)的。“計(jì)算機(jī)視覺就是模擬人的視覺,攝像頭模組就好像人的眼睛看周圍的一切,得到圖像。算法就像人的大腦處理眼睛攝取的圖像,以此告訴自己:‘我看到了手,手在做什么動(dòng)作?！焙伟怖?qū)τ浾哒f。

深圳岱仕科技有限公司的CEO谷逍馳則以Leap Motion推出的裸手交互引擎為例,向記者詳細(xì)介紹了裸手交互這種手部VR交互形式。谷逍馳表示,該引擎提供真實(shí)手部尺寸大小的全手追蹤與連續(xù)的手指彎曲跟蹤,且擁有較高的精度和自由度,包括手指展開的自由度和拇指的靈活度。

我們能通過觸摸實(shí)物來感受物體的形象和質(zhì)地,用手與現(xiàn)實(shí)世界交互。同樣,我們也能通過手與VR世界建立聯(lián)系,用手“觸碰”VR世界。張道寧告訴記者,當(dāng)前VR手柄已在游戲、教育、工業(yè)和醫(yī)療等領(lǐng)域得到應(yīng)用。

谷逍馳也告訴記者,目前其公司推出的力反饋手套已應(yīng)用于飛行模擬、汽車裝配培訓(xùn)和康復(fù)訓(xùn)練等場(chǎng)景,以增加虛擬場(chǎng)景的沉浸感。

何安莉則分別介紹了手柄、手套和手勢(shì)三種手部交互形式在不同VR場(chǎng)景中的應(yīng)用。她表示,手柄適合VR里的槍戰(zhàn)游戲,操作起來更加方便和快捷。VR手套作為穿戴設(shè)備,上面帶著多個(gè)傳感器,不受視覺限制,適合大型的VR運(yùn)動(dòng),如打高爾夫等運(yùn)動(dòng)。視覺手勢(shì)則更適合用手部做實(shí)驗(yàn)、在空中或虛擬平面寫作等活動(dòng),因?yàn)橐曈X識(shí)別無需穿戴,雙手自由。何安莉還提到,手勢(shì)識(shí)別有非常廣泛的應(yīng)用,目前該公司的手勢(shì)識(shí)別已用于AR和VR頭顯、手機(jī)、車載、電梯和智能生產(chǎn)等多種設(shè)備和使用場(chǎng)景里。

三種手部VR交互方式各有技術(shù)瓶頸

以手部交互為中心的VR設(shè)計(jì)存在巨大的可能性,手部交互也在VR世界中扮演著重要角色。但據(jù)目前已有的消息,我們的雙手在VR世界里能做的事情還比較有限。

谷逍馳向記者分析了目前通過VR手柄實(shí)現(xiàn)交互的難點(diǎn)。他指出,手柄路徑試圖將手指追蹤添加到硬件中,但硬件尺寸和所選的追蹤方式使其追蹤精度和力反饋能力受到限制。

以Valve公司生產(chǎn)的Knuckles(Index控制器)為例,他具體分析了VR手柄面臨的難題。盡管該產(chǎn)品是目前最完善的操控手柄,它的手指跟蹤仍受限制,只有不到30度的連續(xù)彎曲檢測(cè),對(duì)于超過30度的手指彎曲幅度只能檢測(cè)為張開或握緊,并且只有有限的5個(gè)自由度,不能將大拇指的旋轉(zhuǎn)自由度和四根手指的展開自由度輸入到VR中。

VR數(shù)據(jù)手套是另一種精確手部追蹤的技術(shù)路徑。谷逍馳告訴記者,大多數(shù)VR手套使用基于彎曲傳感器或慣性測(cè)量單元(IMU)的解決方案,并根據(jù)使用的傳感器數(shù)量追蹤5～10自由度的手部運(yùn)動(dòng),以捕捉連續(xù)的手指彎曲。然而,彎曲傳感器根據(jù)其物理形變來改變電阻會(huì)使其使用壽命受限,基于IMU的解決方案雖然沒有損耗,但其可靠性易受金屬、磁體和周圍磁場(chǎng)的影響,基于慣性的性質(zhì)會(huì)導(dǎo)致“數(shù)據(jù)漂移”,需頻繁地重新校準(zhǔn)。

張道寧也表示,目前VR手套很難實(shí)現(xiàn)標(biāo)準(zhǔn)化生產(chǎn),人手的大小不一導(dǎo)致VR手套不能被制作成通用工具,VR手套上裝載的大量電子元器件也會(huì)降低其延展性,使其不如普通手套那樣親膚和舒適。

針對(duì)如何完善VR數(shù)據(jù)手套的反饋系統(tǒng)、捕獲連續(xù)手指運(yùn)動(dòng),谷逍馳的公司給出了相應(yīng)的解決方案,將力反饋添加到了便攜式手套中。他指出,外骨骼設(shè)計(jì)是VR人機(jī)交互革命的良好起點(diǎn)。機(jī)械外骨骼隨用戶手指一起運(yùn)動(dòng),可將其運(yùn)動(dòng)傳至內(nèi)置角度傳感器,并在每個(gè)指尖產(chǎn)生力反饋。“它可以捕獲11自由度的手部運(yùn)動(dòng),重建真實(shí)的手部模型。力反饋功能能在物理上組織用戶的手穿透虛擬物體,讓用戶感受其形狀、大小和剛度。”谷逍馳說。但同時(shí),他也表示,費(fèi)勁穿戴VR數(shù)據(jù)手套會(huì)阻礙其易用性,真正能平衡各方面問題且易于使用的解決方案尚待挖掘。

針對(duì)裸手交互,何安莉告訴記者,純視覺的手勢(shì)識(shí)別是沒有觸摸感的,操作虛擬物體缺乏觸摸真實(shí)物體的力反饋。

在張道寧看來,裸手交互最明顯的劣勢(shì)是沒有真正適合或需要這種交互方式的場(chǎng)景。他指出,裸手交互無法適應(yīng)復(fù)雜的場(chǎng)景,但在相對(duì)簡(jiǎn)單的場(chǎng)景中,人們更偏向于使用手柄這類準(zhǔn)確性和可靠性更高的設(shè)備。

谷逍馳指出了Leap Motion裸手交互引擎的弊端。他表示,該引擎沒有提供任何反饋方案,跟蹤的可靠性也很成問題。對(duì)此,何安莉以自己公司的技術(shù)為例,表示除了基于三維骨骼的手勢(shì)和肢體識(shí)別,SLAM的位置跟蹤和識(shí)別也可以成為VR領(lǐng)域重要的突破方向。

何安莉還指出了目前阻礙所有電子產(chǎn)品發(fā)展的科技瓶頸—電池的蓄電能力和重量?！半姵氐男铍娔芰椭亓坎粌H阻礙了AR和VR的技術(shù)發(fā)展,也阻礙了所有電子產(chǎn)品的發(fā)展。期待材料科學(xué)的發(fā)展能讓眼鏡和頭顯越來越輕,蓄電時(shí)間越來越長(zhǎng)?！焙伟怖蛘f。

手部VR交互有望拓展更多應(yīng)用場(chǎng)景

現(xiàn)階段,手部交互是VR世界中非常重要的一種交互方式。隨著5G和人工智能等技術(shù)的發(fā)展,在未來的VR世界,手部交互有望拓展更多應(yīng)用場(chǎng)景。 

何安莉表示,人最自然的交互方式是語言和手,手勢(shì)自然交互是科技進(jìn)步的必然趨勢(shì),也是人類的理想?！白罱鼛资陙?人類的生活主要在和電子數(shù)字世界交互。從最早的電腦,到智能手機(jī),到AR和VR技術(shù),再到機(jī)器人和智能汽車,數(shù)字世界也從一維發(fā)展到二維,再到立體的三維。同樣,人類的交互方式也由單行輸入變?yōu)橐暣笆髽?biāo),再發(fā)展為空中手勢(shì)。這是人類的理想,也是科技發(fā)展的趨勢(shì)?！焙伟怖蛘f。基于此,她認(rèn)為,除了AR和VR領(lǐng)域,手勢(shì)識(shí)別還可用于疲勞監(jiān)控和智能生產(chǎn)監(jiān)控等領(lǐng)域。

人工智能和5G的發(fā)展能夠在很大程度上助力VR技術(shù)的發(fā)展,也能夠讓手部VR交互的應(yīng)用變得越來越廣泛。何安莉告訴記者,人工智能是讓電腦有人的智慧,它能夠識(shí)別語言,識(shí)別人的面部,同樣也能識(shí)別人的手部和手部的動(dòng)作。5G網(wǎng)絡(luò)傳輸和云處理也能夠給VR技術(shù)帶來新的發(fā)展空間?！昂芏鄶z像頭攝取的圖像數(shù)據(jù)都可以實(shí)時(shí)傳輸,云端處理監(jiān)控圖像和信息,大量的數(shù)據(jù)會(huì)產(chǎn)生巨大的信息和決策價(jià)值,也讓機(jī)器不斷地增加智能?！焙伟怖蚋嬖V記者。同時(shí),她還表示,近幾年光學(xué)和顯示芯片技術(shù)的發(fā)展使得圖像處理在內(nèi)的各種芯片處理能力提高了很多,深度學(xué)習(xí)讓魯棒高速的識(shí)別變成可能,促進(jìn)了計(jì)算機(jī)視覺和攝像頭的緊密結(jié)合。

賽迪顧問股份有限公司高級(jí)分析師袁鈺告訴記者,當(dāng)前,最符合人體學(xué)和用戶習(xí)慣的交互方式是交互手套。交互手套通過動(dòng)作捕捉和觸碰識(shí)別等人工智能技術(shù)進(jìn)行交互,配合5G通信網(wǎng)絡(luò),能夠精準(zhǔn)識(shí)別用戶動(dòng)作,與終端設(shè)備實(shí)現(xiàn)良好的交互。袁鈺向記者表示,未來部分覆蓋式交互手套或是產(chǎn)品主流。

同時(shí),袁鈺還指出,人工智能等技術(shù)的發(fā)展能夠推動(dòng)手部VR交互的進(jìn)步,“解放雙手”是實(shí)現(xiàn)VR大規(guī)模普及的必然趨勢(shì)?！傲己玫氖植縑R交互會(huì)提高用戶體驗(yàn),加快產(chǎn)品普及,也會(huì)拓展更多應(yīng)用場(chǎng)景。目前VR主要應(yīng)用于游戲、視頻等消費(fèi)端,以及教育、醫(yī)療等企業(yè)端。隨著交互方式的改善,手部VR交互有望加快社交、制造、設(shè)計(jì)等多場(chǎng)景的拓展?！痹晫?duì)記者說。