第十章人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造目錄CONTENTS10.1基于VR的人機(jī)交互關(guān)鍵技術(shù)10.2基于

HoloLens2的人機(jī)交互關(guān)鍵技術(shù)10.3基于人體動(dòng)作識(shí)別的交互關(guān)鍵技術(shù)第10章人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1目錄CONTENTS10.1基于VR的人機(jī)交互關(guān)鍵技術(shù)10.1.1硬件配置要求10.1.2開發(fā)環(huán)境配置10.1.3HTCVIVE手柄控制10.1.4UGUI設(shè)計(jì)10.2基于

HoloLens2的人機(jī)交互關(guān)鍵技術(shù)10.3基于人體動(dòng)作識(shí)別的交互關(guān)鍵技術(shù)第10章人機(jī)交互關(guān)鍵技術(shù)10.1基于VR的人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1HTCVive是由HTC與Valve聯(lián)合開發(fā)的一款VR頭顯（虛擬現(xiàn)實(shí)頭戴式顯示器）產(chǎn)品。由以下三個(gè)部分構(gòu)成：一個(gè)頭戴式顯示器、兩個(gè)單手持控制器、一個(gè)能于空間內(nèi)同時(shí)追蹤顯示器與控制器的定位系統(tǒng)（Lighthouse）。HTCVive

VR設(shè)備從最初可以給游戲帶來(lái)沉浸式的體驗(yàn)，延伸到可以在更多領(lǐng)域施展想象力和應(yīng)用開發(fā)潛力。一個(gè)最現(xiàn)實(shí)的例子是，可以通過(guò)虛擬現(xiàn)實(shí)搭建場(chǎng)景，實(shí)現(xiàn)在醫(yī)療、教學(xué)以及煤礦領(lǐng)域的應(yīng)用。第10章人機(jī)交互關(guān)鍵技術(shù)10.1.1硬件配置要求戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1

GPU：NVIDIA?

GeForce?

GTX970、AMD

Radeon?

R9290同等或更高配置

CPU：Intel?Core?i5-4590/AMD

FX?8350同等或更高配

RAM：4GB或以上

視頻輸出：HDMI1.4、DisplayPort1.2或以上

USB端口：1xUSB2.0或以上端口

操作系統(tǒng)：Windows?

7SP1、Windows?

8.1或更高版本、Windows?

10第10章人機(jī)交互關(guān)鍵技術(shù)10.1.2開發(fā)環(huán)境配置戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1下載并安裝Steam平臺(tái)選擇“庫(kù)”選項(xiàng)選擇“工具”選項(xiàng)搜索SteamVR并下載安裝SteamVR就緒運(yùn)行SteamVR第10章人機(jī)交互關(guān)鍵技術(shù)10.1.2開發(fā)環(huán)境配置戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1插好VR頭戴顯示器運(yùn)行房間設(shè)置新建一個(gè)Unity工程，在AssetStore窗口中搜索SteamVR并下載將“[CameraRig]”拖入場(chǎng)景并運(yùn)行完成配置第10章人機(jī)交互關(guān)鍵技術(shù)10.1.3HTCVIVE手柄介紹戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造11-菜單按鈕

2-觸控板

3-系統(tǒng)按鈕

4-狀態(tài)指示燈5-Micro-USB端口

6-追蹤感應(yīng)器

7-扳機(jī)

8-手柄按鈕狀態(tài)指示燈綠色：表示HTCVive手柄目前狀態(tài)正常，可以正常使用；藍(lán)色：表示操控手柄已經(jīng)成功和頭戴式設(shè)備配對(duì)；閃爍藍(lán)色：表示操控手柄正在和頭戴式設(shè)備進(jìn)行配對(duì)；橙色：表示手柄正在充電，當(dāng)手柄變?yōu)榫G色時(shí)，表示充電完畢；閃爍紅色：手柄低電量，即將沒電；第10章人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造110.1.3HTCVIVE手柄控制l

Controller(left):左側(cè)手柄（相當(dāng)于人的左手）。l

Controller(right):右側(cè)手柄（相當(dāng)于人的右手）。l

Camer(head):頭盔。l

Camer(eye):相當(dāng)于人的眼睛。l

Camer(eye):相當(dāng)于人的耳朵。l

Model：主要是為了在虛擬環(huán)境下創(chuàng)建手柄模型。第10章人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1我們?cè)谧x取手柄的輸出信息時(shí)，用到SteamVR_TrackedObj組件。步驟如下：1.

獲取SteamVR_TranckedObj組件下的Index變量。例：GetCommpent<SteamVR_TrackedObj>().Index;2.

然后通過(guò)SteamVR_Controller類下的Input接口獲取實(shí)現(xiàn)手柄按鍵輸入類型。輸入類型包括以下幾種：l

GetPress:長(zhǎng)按。l

GetPressDown:按下l

GetPressUp:抬起l

GetTouch:一直觸摸l

GetTouchDown:觸摸l

GetTouchUp:觸摸抬起l

TriggerHapticPulse:震動(dòng)10.1.3HTCVIVE手柄控制第10章人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造110.1.3HTCVIVE手柄控制3.

獲取按鍵類型通過(guò)SteamVR_Controller.ButtonMask類獲取。ButtonMask上述所說(shuō)的所有按鍵。如：扳機(jī)鍵SteamVR_Controller.ButtonMask.Trigger。4.

手柄輸入實(shí)例：扳機(jī)鍵按下：int

index=(int)GetCommpent<SteamVR_TrackedObj>().IndexSteamVR_Controller.Input(index).GetPressDown(SteamVR_Controller.ButtonMask.Trigger);手柄震動(dòng)：SteamVR_Controller.Input(index).TriggerHapticPulse(200)。參數(shù)標(biāo)示震動(dòng)強(qiáng)度。第10章人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1創(chuàng)建Canvas，將Canvas的RenderModel設(shè)為WorldSpace創(chuàng)建所需UI10.1.4UGUI設(shè)計(jì)目錄CONTENTS10.1基于VR的人機(jī)交互關(guān)鍵技術(shù)10.2基于

HoloLens2的人機(jī)交互關(guān)鍵技術(shù)10.2.1基于HoloLens2的混合現(xiàn)實(shí)技術(shù)10.2.2基于HoloLens2的機(jī)械裝備AR/MR巡檢技術(shù)10.3基于人體動(dòng)作識(shí)別的交互關(guān)鍵技術(shù)第10章人機(jī)交互關(guān)鍵技術(shù)10.2基于HoloLens2的人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1混合現(xiàn)實(shí)（MixedReality，簡(jiǎn)稱MR）技術(shù)是一種將虛擬世界和現(xiàn)實(shí)世界相結(jié)合的技術(shù)，它的主要價(jià)值在于將數(shù)字信息帶入到個(gè)人對(duì)現(xiàn)實(shí)世界的感知中，而不是簡(jiǎn)單的數(shù)據(jù)顯示，通過(guò)與被視為環(huán)境自然部分的沉浸式集成來(lái)實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。借助HoloLens2設(shè)備的優(yōu)秀能力（例如本能手勢(shì)操作、語(yǔ)音命令、眼動(dòng)凝視交互)，用戶周圍的混合世界變得可交互和可操作。視頻，帶視頻的PPT見視頻資源視頻，帶視頻的PPT見視頻資源第10章人機(jī)交互關(guān)鍵技術(shù)10.2基于HoloLens2的人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1負(fù)責(zé)真實(shí)場(chǎng)景種疊加全息影像負(fù)責(zé)感知外部環(huán)境信息負(fù)責(zé)虹膜識(shí)別，采集眼部數(shù)據(jù)第10章人機(jī)交互關(guān)鍵技術(shù)10.2.1基于HoloLens2的混合現(xiàn)實(shí)技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（1）開發(fā)環(huán)境準(zhǔn)備Windows10VisualStudio2019/2022Unity2020/2021MRTK第10章人機(jī)交互關(guān)鍵技術(shù)10.2.1基于HoloLens2的人機(jī)交互關(guān)鍵技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1構(gòu)建Unity項(xiàng)目切換平臺(tái)設(shè)置項(xiàng)目導(dǎo)入MRTK導(dǎo)出VS工程創(chuàng)建和設(shè)置場(chǎng)景配置MRTK導(dǎo)入TextMeshPro部署到真機(jī)設(shè)備發(fā)布MR應(yīng)用（2）應(yīng)用開發(fā)與部署流程第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1基于HoloLens的機(jī)械裝備AR/MR巡檢技術(shù)是一種利用混合現(xiàn)實(shí)技術(shù)來(lái)改進(jìn)機(jī)械裝備巡檢過(guò)程的解決方案。通過(guò)將MR任務(wù)界面疊加到實(shí)際機(jī)械裝備附近，任務(wù)面板可以實(shí)時(shí)獲取設(shè)備狀態(tài)信息、執(zhí)行操作指導(dǎo)，并進(jìn)行故障排查等工作。第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（1）MR用戶界面設(shè)計(jì)第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（1）MR用戶界面設(shè)計(jì)第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（1）MR用戶界面設(shè)計(jì)—按鈕（Button）介紹其中BoxCollider組件用于設(shè)置按鈕碰撞器形狀；PressableButtonHoloLens2組件用于實(shí)現(xiàn)按鈕交互的形態(tài)改變及各交互狀態(tài)事件；PhysicalPressEventRouter組件為路由組件，用于設(shè)置何時(shí)(Touch、Press、Click)將手勢(shì)操作事件轉(zhuǎn)發(fā)到Interactable組件，即控制什么操作觸發(fā)OnClick事件；Interactable

組件負(fù)責(zé)處理各類交互輸人和事件，包括設(shè)置語(yǔ)音命令、OnClick事件；AudioSource組件用于提供操作時(shí)的音效反饋；ButtonConfigHelper組件是一一個(gè)簡(jiǎn)化按鈕使用的幫助類組件，它提供了最直接使用按鈕的界面，利用它可以輕松設(shè)置按鈕顯示文字、圖標(biāo)、OnClick事件，實(shí)現(xiàn)按鈕功能，但該組件設(shè)置的參數(shù)最終都被轉(zhuǎn)發(fā)到各功能組件中，其本身并不負(fù)責(zé)處理。第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（1）MR用戶界面設(shè)計(jì)—Slate面板介紹Slate面板用于創(chuàng)建可定制、交互性強(qiáng)的任務(wù)界面，它提供了靈活的布局選項(xiàng)、樣式定制功能以及事件處理能力。通過(guò)Slate面板可以快速構(gòu)建適應(yīng)HoloLens應(yīng)用程序需求的界面，提供了良好的交互體驗(yàn)，如圖所示。第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（2）交互方式設(shè)計(jì)通過(guò)上面的學(xué)習(xí)，我們已經(jīng)知道制作MR巡檢系統(tǒng)界面的方法，接下來(lái)我們將學(xué)習(xí)如何通過(guò)Hololens2使用該系統(tǒng)。HoloLens2設(shè)備支持多種模態(tài)交互方式（手勢(shì)、語(yǔ)音和凝視交互），這種多模態(tài)交互設(shè)計(jì)為使用者提供了豐富、自然和有效的操作體驗(yàn)。手勢(shì)交互語(yǔ)音交互凝視交互第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（2）交互方式設(shè)計(jì)—手勢(shì)交互HoloLens2手勢(shì)交互方式，用于與附近的全息影像進(jìn)行觸摸操作。當(dāng)人體的手部靠近全息影像時(shí)，食指尖上會(huì)出現(xiàn)一個(gè)白色圓圈，這是觸摸光標(biāo)，通過(guò)它來(lái)點(diǎn)擊、滾動(dòng)或抓取全息影像，實(shí)現(xiàn)自然手勢(shì)交互。視頻，帶視頻的PPT見視頻資源第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（2）交互方式設(shè)計(jì)—語(yǔ)音交互Hololens2語(yǔ)音交互方式，能通過(guò)識(shí)別語(yǔ)音命令的關(guān)鍵詞和對(duì)應(yīng)的響應(yīng)事件，實(shí)現(xiàn)輸出語(yǔ)音指令的能力。其工作場(chǎng)景通常用于控制與選擇，用于確定事件的執(zhí)行。例如視頻中通過(guò)語(yǔ)音控制機(jī)器人轉(zhuǎn)動(dòng)。視頻，帶視頻的PPT見視頻資源第10章人機(jī)交互關(guān)鍵技術(shù)10.2.2基于HoloLens2機(jī)械裝備AR/MR巡檢技術(shù)戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1（2）交互方式設(shè)計(jì)—凝視交互Hololens2凝視交互的實(shí)現(xiàn)基于眼動(dòng)跟蹤功能，眼球跟蹤系統(tǒng)可以根據(jù)眼睛數(shù)據(jù)來(lái)生成一個(gè)眼睛方向向量，表示正在看的方向。眼睛方向向量可以與全息圖像或真實(shí)世界的物體相交，從而確定凝視目標(biāo)。通過(guò)一種次要的確認(rèn)輸入，例如手勢(shì)、按鈕或語(yǔ)音命令，可以對(duì)凝視目標(biāo)進(jìn)行操作。視頻，帶視頻的PPT見視頻資源目錄CONTENTS10.3基于人體動(dòng)作識(shí)別的交互關(guān)鍵技術(shù)10.1基于VR的人機(jī)交互關(guān)鍵技術(shù)10.2基于

HoloLens2的人機(jī)交互關(guān)鍵技術(shù)10.3.1基于Kinect的人體跟蹤技術(shù)概述10.3.2AzureKinect與Unity3d的配置第10章人機(jī)交互關(guān)鍵技術(shù)10.3.1基于Kinect的人體跟蹤技術(shù)概述戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1AzureKinect設(shè)備簡(jiǎn)介AzureKinect設(shè)備是實(shí)現(xiàn)體感交互方法最先進(jìn)的硬件設(shè)備之一，搭載了100萬(wàn)像素TOF高級(jí)深度相機(jī)、1200萬(wàn)像素全高清攝像頭以及方向傳感器等，具有復(fù)雜的計(jì)算機(jī)視覺和語(yǔ)音模型、高級(jí)AI傳感器以及提供了深度、視覺、聲音、方向四大類傳感器SDK，可以實(shí)現(xiàn)對(duì)人體的3D輪廓掃描，主要硬件結(jié)構(gòu)及功能見表所示。第10章人機(jī)交互關(guān)鍵技術(shù)10.3.1基于Kinect的人體跟蹤技術(shù)概述戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1硬件名稱功能麥克風(fēng)陣列由4個(gè)麥克風(fēng)組成，可以確定聲源位置并實(shí)現(xiàn)自動(dòng)去噪。紅外投影機(jī)向外投射紅外光譜，產(chǎn)生可以被紅外攝像頭讀取的隨機(jī)的斑點(diǎn)圖樣（散斑）。紅外攝像頭分析計(jì)算采集的散斑數(shù)據(jù)，建立出可視范圍的深度圖像。USB線纜USB3.0接口，傳輸Kinect采集到的數(shù)據(jù)流。且因?yàn)镵inect功率較大，需要配合獨(dú)立電源使用。彩色攝像頭采集

RGB數(shù)據(jù)流。Kinect主要硬件結(jié)構(gòu)及功能第10章人機(jī)交互關(guān)鍵技術(shù)10.3.1基于Kinect的人體跟蹤技術(shù)概述戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1在運(yùn)行基于AzureKinect的人體跟蹤演示之前，需要確保計(jì)算機(jī)具有以下規(guī)格的配置：(1)

第7代Intel?CoreTMi5處理器及以上（四核2.4GHz或更快）(2)

4GB內(nèi)存及以上(3)

顯卡為NVIDIAGeForceGTX1070及更高版本(4)

具有專用的USB3端口(5)

Windows10要編寫和執(zhí)行代碼、運(yùn)行demo，你需要安裝以下軟件：(1)

VisualStudio2019及以上(2)

Unity3d(3)

AzureKinectBodyRrackingSDK(4)AzureKinectSensorSDK第10章人機(jī)交互關(guān)鍵技術(shù)10.3.1基于Kinect的人體跟蹤技術(shù)概述戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造1

第10章人機(jī)交互關(guān)鍵技術(shù)10.3.2AzureKinect與Unity3d的配置戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造11.

AzureKinectSensorSDK的安裝/en-us/previous-versions/azure/kinect-dk/sensor-sdk-download第10章人機(jī)交互關(guān)鍵技術(shù)10.3.2AzureKinect與Unity3d的配置戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-重型高端裝備制造11.

AzureKinectSensorSDK的安裝第10章人機(jī)交互關(guān)鍵技術(shù)10.3.2AzureKinect與Unity3d的配置戰(zhàn)略性新興領(lǐng)域教材建設(shè)團(tuán)隊(duì)-