第七章多機運動仿真關鍵技術重型高端裝備制造目錄CONTENTS7.1概述7.2復雜運動連接關系的機理解析與虛擬應用7.2.1裝備運動機理的獲取7.2.2運動機理的虛擬應用第7章多機運動仿真關鍵技術7.1概述戰略性新興領域教材建設團隊-重型高端裝備制造1

從液壓支架與中部槽連接圖可以看出浮動連接機構的運動與綜采支運裝備的相對位置息息相關，同時，反向研究的話，綜采支運裝備間的位置關系也受到浮動連接機構的運動姿態的影響，對其空間運動進行相關研究分析是對綜采支運裝備協同運動進行研究的關鍵之一。因此，本節以綜采支運裝備的關鍵連接結構—浮動連接機構為例進行多機運動仿真關鍵技術研究。液壓支架與中部槽連接圖第7章多機運動仿真關鍵技術7.2復雜運動連接關系的機理解析與虛擬應用戰略性新興領域教材建設團隊-重型高端裝備制造1更準確地了解設備的工作原理和運動特性，從而找出潛在的性能瓶頸和改進空間有助于優化生產流程，通過對設備運動狀態的實時監控和分析，及時發現生產過程中的異常情況可以預測設備可能出現的故障類型和原因，并提前采取相應的預防措施對裝備運動機理的深入分析裝備運動機理的獲取運動規律擬合法空間運動學第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1運動規律擬合法

運動規律擬合法是一種通過數學和統計方法，對物體的運動規律進行擬合和描述的技術。它基于觀測到的運動數據，通過選擇合適的數學模型和參數，來逼近和模擬物體的真實運動過程。插入數據選擇圖表形式擬合過程擬合參數設置第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1空間運動學正向運動學是用來描述裝備在空間中的位置和姿態的，它為運動控制提供了基礎逆向運動學是對已知裝備末端的位置和姿態，求解中間各結構的位姿空間運動學方法

空間運動學是對裝備在空間中的位置和姿態進行描述，分為正向運動學與逆向運動學兩部分本節以連接液壓支架與刮板輸送機的推移機構的運動機理解析為例進行說明。第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1空間運動學

模型轉換

選取液壓油缸為基座，將連接頭的運動簡化為末端執行器繞著手腕處的偏轉運動，將連接頭簡化為末端執行器、連接頭與推移桿連接的銷軸簡化為具有偏航運動的旋轉關節、活塞桿與推移桿之間的連接銷軸簡化為機器人的具有偏航運動與俯仰運動的旋轉關節，液壓油缸與活塞桿簡化為機器人的棱柱關節第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1空間運動學

D-H坐標系統的建立D-H坐標系統

若關節是做旋轉運動的：z軸位于按右手旋轉的方向；若關節是做平移運動的：z軸為沿直線運動方向，按照以上原則確定所有旋轉關節和棱柱關節的z軸；當關節不平行或相交時，確定兩z軸的公垂線，在此公垂線任意兩方向上定義本地坐標系的x軸，按照此方法確定所有旋轉關節和棱柱關節的x軸根據確定的機械手模型各關節的相對運動關系第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1空間運動學

建立D-H參數表

根據建立的矩陣坐標系統，可以確定機械手模型的連桿是P||R(0°)，R⊥R(90°)，R⊥R(90°)，R||R(0)，R⊥P(90°)，根據建立的D-H矩陣坐標系確定D-H參數表，建立D-H參數表如表7-1所示。各關節變量的含義如表7-2所示。第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1空間運動學

通過逆向運動學求解方程

通過下式建立活塞桿的伸長量、推移桿繞連接銷軸的偏轉角、俯仰角，連接頭的偏轉角與中部槽位姿間的關系。得到機械手模型的所有變換矩陣：第7章多機運動仿真關鍵技術7.2.1裝備運動機理的獲取戰略性新興領域教材建設團隊-重型高端裝備制造1空間運動學

通過逆向運動學求解方程根據，建立機械手模型的正向運動矩陣為：當末端位置矢量為(x0,y0,z0)時，正向運動矩陣可簡化為:

在中部槽位姿已知時，通過以下公式可對推移機構各結構運動進行求解。由以上公式得到浮動連接機構等價機械手模型各關節的運動規律，根據關節路徑最短的原則確定最優解。第7章多機運動仿真關鍵技術7.2.2運動機理的虛擬應用戰略性新興領域教材建設團隊-重型高端裝備制造1

在獲得裝備運動機理后，為了實現裝備自適應運動仿真，在解析得到運動規律后，需要通過C#語言將所得公式轉換為可以控制模型動作的語句。本節以推移機構運動規律的虛擬應用為例進行介紹。關鍵點設置結構層次關系的設置虛擬控制模型的建立第7章多機運動仿真關鍵技術7.2.2運動機理的虛擬應用戰略性新興領域教材建設團隊-重型高端裝備制造1

關鍵點設置關鍵點位置

在推移機構液壓油缸與活塞桿交接處標記一個點“標記1”作為機械手模型基座的虛擬映射，將其余旋轉關節用系列銷軸進行標記，末端執行器捕捉位置通過在連接頭連接處中心位置的“標記2”進行虛擬映射；液壓支架移架時，機械手模型的末端執行器捕捉刮板輸送機推移耳座處的“移架點”處的關鍵點；液壓支架推溜時，機械手模型的末端執行器捕捉“推溜點”處的關鍵點。第7章多機運動仿真關鍵技術7.2.2運動機理的虛擬應用戰略性新興領域教材建設團隊-重型高端裝備制造1

結構層次關系的設置父子關系圖

液壓支架移架時會帶動整個支架的運動，液壓支架推溜時會將刮板輸送機推移一定的步距，使刮板輸送機的位姿發生變化。為了實現以上過程，需要按照如圖所示內容在虛擬環境下對液壓支架底座和刮板輸送機的父子關系進行配置第7章多機運動仿真關鍵技術7.2.2運動機理的虛擬應用戰略性新興領域教材建設團隊-重型高端裝備制造1

虛擬控制模型的建立根據獲得的浮動連接機構的運動規律，將關節變量d1定義為Position，θ2定義為ZhuanJiao2，θ3定義為ZhuanJiao3，θ4定義為ZhuanJiao4，把針對不同條件確立的最優解轉化為C#語言，通過Position、ZhuanJiao2、ZhuanJiao3、ZhuanJiao4控制虛擬浮動連接機構相關結構的移動和旋轉，實現液壓支架的精準推移。通過以下腳本獲得刮板輸送機中部槽上推溜點“BiaoJi1”的x坐標，其余坐標也相同的方式獲得。GameObject.Find("GBJ").GetComponent<GBJControl>().BiaoJi1.transform.position.x；將獲得的運動規律通過C#語言的形式編入系統中，實現浮動連接機構的各虛擬關節運動參數的語言轉換，以轉角1為例進行說明。ZhuanJiao1=Mathf.Atan(dx1/dy1);第七章多機運動仿真關鍵技術7.3.1虛擬傳感器的建立戰略性新興領域教材建設團隊-重型高端裝備制造11.虛擬紅外測距傳感器的建立

激光測距傳感器中的發射器按照一定角度向外發射激光光束，光束遇到障礙物反射回來被檢測器檢測到，經過時差計算可以獲得傳感器與障礙物之間的距離信息。

根據紅外測距傳感器默認的測量刻度值為0.25cm的這一特點，基于實際傳感器讀數原理，設計了紅外測距傳感器數字孿生體讀數的規則，如圖所示。第七章多機運動仿真關鍵技術7.3.1虛擬傳感器的建立戰略性新興領域教材建設團隊-重型高端裝備制造22.虛擬傾角傳感器的建立

在虛擬場景中，虛擬物體的Transform組件中的Rotation屬性便可以顯示物體在空間中的姿態角。根據這一特點，可以通過訪問虛擬液壓支架相關構件的Transform.rotation屬性結合虛擬支架構件的初始角度，從而得到液壓支架主體相關構件的角度，這樣便可以實現虛擬傳感器的角度測量功能。如圖（a）所示，為虛擬傾角傳感器的安裝位置，圖（b）為測量獲得的傾角的數值。第七章多機運動仿真關鍵技術7.3.2裝備間虛擬約束關系構建戰略性新興領域教材建設團隊-重型高端裝備制造3

在虛擬煤層底板上安裝MeshCollider物理組件，依次在刮板輸送機各中部槽、液壓支架上安裝若干BoxCollider物理組件，最終可實現煤機裝備在虛擬煤層底板上的自適應鋪設。

采用CharacterJoint連接相鄰兩中部槽，將鉸鏈安裝于兩相鄰中部槽的中間位置，以實現彎曲時刮板輸送機中部槽受到相鄰兩中部槽的約束力；根據工業生產要求，刮板輸送機相鄰兩中部槽的最大彎曲角度為4°，分別將LowTwistLimit與HighTwistLimit設置為-4與4，最終實現裝備間虛擬約束關系的構建。第七章多機運動仿真關鍵技術7.4運動虛擬仿真環境設置戰略性新興領域教材建設團隊-重型高端裝備制造4

在刮板輸送機由靜至動滑移的過程中，加上采煤機在行走過程中灑水以及粉塵等因素的影響，使得裝備與煤層底板間的摩擦因數存在一個轉換。為了準確描述此摩擦過程，采用Stribeck摩擦模型確定中部槽與煤層底板間的摩擦系數。

根據裝備在推進中的運動與力學特性，得到虛擬裝備的力學特性進行設置方案如下表所示。參數參數改變方式作用摩擦因數通過PhysicalMaterial組件，對煤層底板與裝備之間的摩擦關系進行設置。改變虛擬仿真系統中虛擬煤層底板與煤機裝備之間的摩擦因數。使摩擦力對推進中裝備運動產生影響。裝備重力利用Rigidbody類對各裝備的質量值進行修改。保證裝備運動過程的力學屬性。運行阻力利用AngularDrag和Drag單元進行中部槽阻力設置AngularDrag單元產生阻礙物體旋轉的力；Drag單元的方向與物體的運動方向相反，用來阻礙物體的運動。第七章多機運動仿真關鍵技術7.4運動虛擬仿真環境設置戰略性新興領域教材建設團隊-重型高端裝備制造5

為了實現虛擬環境與物理環境下的煤機裝備映射關系的建立，需要在虛擬環境下對煤機裝備進行參數化配置。虛擬環境下水平彎曲阻力與橫向彎曲阻力分別為1.46N與2.48N，在Unity3d中，設置AngularDrag的值為3.94N；得到虛擬環境下，刮板輸送機的總運行阻力即Drag值為19.334N，摩擦因數為0.35，Unity3d與實際空間中的換算比例為100:1，其他參數配置結果如下表所示。名稱型號研究對象理論值實際值(Unity3d)液壓支架ZY11000/18/38D底座約為7700Kg約為77Kg刮板輸送機SGZ800/1050中部槽153Kg1.53Kg采煤機MG400/920-WD采煤機52000Kg520Kg中部槽間距—相鄰兩中部槽0.216cm第七章多機運動仿真關鍵技術7.5.1綜采支運裝備協同運動仿真戰略性新興領域教材建設團隊-重型高端裝備制造61.推移點位置確定

將獲得的運動規律賦給虛擬液壓支架，在刮板輸送機推移耳座內標記關鍵點作為機械手模型末端執行器的最終位置，由于虛擬刮板輸送機的姿態是隨著虛擬綜采工作面的推進不斷變化的，因而關鍵點的位置在虛擬環境下也是實時變化的，通過改變刮板輸送機上關鍵點的位置來確定推溜點與拉架點。

在刮板輸送機推移耳座上標記推溜與移架的關鍵點作為推移機構等價機械手模型末端執行器的捕捉位置，在虛擬環境下得到推移機構各結構的運動變量的具體值，液壓支架按得到的各運動變量值精準推移。在此情況下，銷耳間隙的影響可以較理想的得到解決。第七章多機運動仿真關鍵技術7.5.1綜采支運裝備協同運動仿真戰略性新興領域教材建設團隊-重型高端裝備制造72.刮板輸送機運動虛擬轉換

在獲得了刮板輸送機位置坐標的基礎上，需要轉換為Unity3D環境下可驅動刮板輸送機推進的信息，本文選取的驅動因子為相鄰兩中部槽間的相對偏轉角度，因而需要建立位置坐標與偏轉角間的轉換機制。Rodrigues參數是計算三維空間中，一個向量繞旋轉軸旋轉給定角度以后得到的新向量的計算公式。

基于Rodrigues參數的中部槽虛擬位姿轉換第七章多機運動仿真關鍵技術7.5.1綜采支運裝備協同運動仿真戰略性新興領域教材建設團隊-重型高端裝備制造8

第七章多機運動仿真關鍵技術7.5.1綜采支運裝備協同運動仿真戰略性新興領域教材建設團隊-重型高端裝備制造93.虛擬約束關系構建

為了簡化研究過程，本節選取11個液壓支架、13節中部槽進行研究。在Unity3d創造的虛擬環境下，在下圖所示的虛擬煤層上添加MeshCollider，在虛擬刮板輸送機、虛擬液壓支架上安裝BoxCollider以及Rigidbody剛體組件，在刮板輸送機各節中部槽鏟煤板處安裝CapsuleCollider使其可以通過具有凸起的地形，在相鄰兩節中部槽之間安裝CharacterJoint鉸鏈，通過參數設置，使液壓支架與刮板輸送機可自適應鋪設在虛擬煤層上。此時，液壓支架推溜時，在運動過程中部槽受相鄰中部槽的限制與煤層底板的影響。第七章多機運動仿真關鍵技術7.5.1綜采支運裝備協同運動仿真戰略性新興領域教材建設團隊-重型高端裝備制造104.裝備運動實現

在刮板輸送機各中部槽上安裝CharacterJoint組件后，可對刮板鏈條的約束力或者是液壓推溜力下的各中部槽間繞旋轉中心的相對旋轉進行模擬。選取底座和刮板輸送機為研究對象，在虛擬環境中物理引擎的作用下，煤機裝備自適應鋪設在虛擬煤層底板上，刮板輸送機在腳本的作用上自適應彎曲；基于浮動連接機構的運動規律，液壓支架推移機構在腳本的控制下自動捕捉相應中部槽上的關鍵點，將刮板輸送機推移成既定姿態，液壓支架移架，實現綜采支運裝備的協同推進。THANKS第八章GUI界面設計關鍵技術重型高端裝備制造目錄CONTENTS8.1概述8.2

GUI介紹及使用8.3

UGUI介紹及使用8.4

NGUI介紹及使用8.5如何選擇你的UI戰略性新興領域教材建設團隊-重型高端裝備制造3第八章GUI界面設計關鍵技術8.1概述GUI（圖形用戶界面）是用戶與程序交互的視覺媒介，而在Unity引擎中，NGUI和UGUI是兩代核心UI解決方案：NGUI作為早期第三方插件以靈活高效風靡，為Unity界面開發奠定基礎；隨著引擎迭代，Unity官方推出內置的UGUI系統，深度融合編輯器功能，優化了渲染效率與組件擴展性，二者雖技術架構不同，但共同支撐著Unity從移動端到跨平臺的多樣化界面設計需求。目錄CONTENTS8.1概述8.2

GUI介紹及使用8.2.1基本介紹及特點8.2.2GUI基本控件8.3

UGUI介紹及使用8.4

NGUI介紹及使用8.5如何選擇你的UI戰略性新興領域教材建設團隊-重型高端裝備制造5第八章GUI界面設計關鍵技術8.2.1基本介紹及特點GUI全稱是GraphicalUserInterface，即圖形用戶界面。GUI的作用是使用圖形化顯示的方式實現人與機器之間的信息交互。Unity3d自帶的GUI系統提供了豐富的GUI工具類如：標簽、按鈕、文本框、滑塊和工具條等控件，開發者通過調用GUI類下的靜態方法在界面中繪制控件，搭配不同的控件進而實現所需的GUI界面。GUI控件主要功能Label標簽TextField文本框TextArea多行文本框PasswordField密碼框Button按鈕RepeatButton重復按鈕ToolBarTab頁Toggle選擇框HorizontalSlider水平滾動條VerticalSlider垂直滾動條8.2.2GUI基本控件戰略性新興領域教材建設團隊-重型高端裝備制造6第八章GUI界面設計關鍵技術voidOnGUI(){GUI.Label(newRect(Screen.width/10,Screen.height/10,Screen.width/5,Screen.height/10),”HelloWorld!”);}（1）Label控件：Label控件用于在界面中繪制一個文本或紋理標簽。示例代碼戰略性新興領域教材建設團隊-重型高端裝備制造7第八章GUI界面設計關鍵技術（2）Button控件：Button控件用于在界面中繪制一個可按下的按鈕，一般當用戶按下按鈕后會觸發相應的事件。示例代碼voidOnGUI(){If(GUI.Button(newRect(Screen.width/10,Screen.height/3,Screen.width/5,Screen.height/10),”Click”))Debug.Log(“Clickedthebuttonwithtext”);}8.2.2GUI基本控件戰略性新興領域教材建設團隊-重型高端裝備制造8第八章GUI界面設計關鍵技術（3）TextField控件：TextField控件用于在界面中繪制一個單行文本框，用戶可以在這個文本框中編輯文本。示例代碼voidOnGUI(){stringToEdit=GUI.TextField(newRect(Screen.width/10,Screen.height/10,Screen.width/3,Screen.height/10),stringToEdit,25);}8.2.2GUI基本控件戰略性新興領域教材建設團隊-重型高端裝備制造9第八章GUI界面設計關鍵技術（4）VerticalSlider控件：VerticalSlider控件用于在界面中繪制一個垂直的滑塊，用戶可以設置相應的閾值。示例代碼voidOnGUI(){vSliderValue=GUI.VerticalSlider(newRect(Screen.width/10,Screen.height/10,Screen.width/10,Screen.height/3),vSliderValue,10.0F,0.0F);}8.2.2GUI基本控件戰略性新興領域教材建設團隊-重型高端裝備制造10第八章GUI界面設計關鍵技術（5）Toolbar控件：Toolbar控件用于在界面中繪制一個工具條，可以在其中置入工具按鈕。示例代碼publicinttoolbarInt=0;pubilcstring[]toolbarStrings=newstring[]{“Toolbar1”,“Toolbar2”,“Toolbar3”};voidOnGUI(){toolbarInt=GUI.Toolbar(newRect(Screen.width/10,Screen.height/10,Screen.width/2,Screen.height/10),toolbarInt,toolbarStrings);}8.2.2GUI基本控件目錄CONTENTS8.1概述8.3

UGUI介紹及使用8.3.1基本介紹及特點8.3.2UGUI基本組件8.3.3UGUI基礎控件8.2

GUI介紹及使用8.4

NGUI介紹及使用8.5如何選擇你的UI戰略性新興領域教材建設團隊-重型高端裝備制造12第八章GUI界面設計關鍵技術8.3.1基本介紹及特點UGUI即為Unity3dGUI，是Unity3d4.6版本官方發布的內置于Unity3d引擎的新UI系統。UGUI相比于在8.2節介紹的舊版GUI系統，可快速、高效地搭建各種應用需求的交互界面，能夠實現所見即所得，界面更加美觀，UI開發更加簡單易用。因UGUI搭建系統界面所應用的UI組件均內置于Unity3d引擎，相較于其他開發工具更為穩定，也不會存在版本不兼容等問題。UGUI控件主要功能Image圖片控件（紋理僅限于Sprite類型）Text文本控件RawImage圖片控件（紋理類型不限）Panel面板控件Toggle開關控件Slider滑動條控件Scrollbar滾動條控件ScrollView屏幕滾動控件Button按鈕控件Canvas畫布控件EventSystem事件系統Hierarchy面板Inspector面板8.3.2UGUI基本組件戰略性新興領域教材建設團隊-重型高端裝備制造13第八章GUI界面設計關鍵技術（1）EventSystem組件：首次創建一個UI控件時，系統會自動創建EventSystem組件，主要用來檢測并響應交互動作，進一步激活一定的交互事件。組成部分功能EventSystem處理不同UI控件之間交互事件和射線的發射，以及輸入設備的輸入。TouchInputModule當系統用于移動設備時，自動轉換鼠標點擊為屏幕點擊同時響應交互事件。StandaloneInputModule作為一個獨立輸入模塊，用于完成鼠標、鍵盤等輸入設備與UI控件之間交互的響應。戰略性新興領域教材建設團隊-重型高端裝備制造14第八章GUI界面設計關鍵技術（2）RectTransform組件：用于確定各控件在UI界面中的位置，以及控件對象在不同分辨率的屏幕上的縮放。8.3.2UGUI基本組件Inspector面板組成部分功能PosX軸點Pivot到錨點Anchor水平方向的距離PosY軸點Pivot到錨點Anchor垂直方向的距離WidthUI控件的寬度HeightUI控件的高度Anchor錨點，用于確定對象在Canvas中的位置Pivot軸點，為UI控件縮放和旋轉時的參考點，也可以用來對齊兩個不同UI控件的位置戰略性新興領域教材建設團隊-重型高端裝備制造15第八章GUI界面設計關鍵技術8.3.3UGUI基礎控件Image控件Text控件RawImage控件展示不用于交互的圖像顯示用戶自定義的文本內容直接顯示包括Sprite類型在內的任何類型的紋理圖片Text：要編輯、顯示的文本內容Front：文本的字體FrontStyle：文本字體的樣式FrontSize：文本字體大小LineSpacing：行距RichText：顯示富文本Alignment：文本內容對齊方式HorizontalOverflow：水平溢出Color：文本顏色Material：文本材質Texture：要顯示的紋理圖片Color：顏色

Material：材質

UVRect：圖片紋理的UV坐標戰略性新興領域教材建設團隊-重型高端裝備制造16第八章GUI界面設計關鍵技術8.3.3UGUI基礎控件Button控件Slider控件Canvas控件主要用于響應用戶的點擊事件并觸發相應的操作用于用戶通過拖動滑塊來選擇數值為所有UI元素提供容器，使得開發者可以方便地組織和渲染這些元素Direction：滑動條滑動方向MinValue：最小值MaxValue：最大值WholeNumbers：勾選滑塊滑動值的變化為整數，取消勾選滑塊滑動值的變化為浮點數Value：滑塊位于起始位置，Value值為最小值；滑塊位于終點位置，Value的值為最大值ScreenSpace-Overlay模式：適用于不需要與3D對象交互的UI元素ScreenSpace-Camera模式：允許UI元素根據指定的攝像機進行渲染WorldSpace模式：將UI元素視為3D對象進行渲染Interactable：控制按鈕交互激活Transition：按鈕狀態過渡效果目錄CONTENTS8.1概述8.3

UGUI介紹及使用8.2

GUI介紹及使用8.4

NGUI介紹及使用8.4.1基本介紹及特點8.4.2UGUI基礎控件8.5如何選擇你的UI戰略性新興領域教材建設團隊-重型高端裝備制造18第八章GUI界面設計關鍵技術8.4.1基本介紹及特點NGUI是Unity引擎中一個強大的用戶界面系統，專為2D和3D游戲開發設計。NGUI是付費插件，開發者可以在Unity3d官方的AssetStore中購買后下載NGUI插件。NGUI的核心組件包括UIRoot、UIPanel、UIWidget、UIAnchor等，這些組件通過模塊化和組件化的方式，使得界面設計更加靈活和高效。NGUI還支持性能優化，通過減少DrawCall次數來提升渲染性能。NGUI控件主要功能Label顯示只讀文本或紋理Texture顯示圖像內容Button用戶交互Tween動畫通過插值技術實現屬性平滑過渡的動畫方式Animation動畫實現動畫播放和控制戰略性新興領域教材建設團隊-重型高端裝備制造19第八章GUI界面設計關鍵技術8.4.2UGUI基礎控件Label控件Texture控件Button控件在屏幕上顯示只讀文本或紋理的非交互式控件主要用于顯示圖像內容，通常與UI系統結合使用用于處理用戶的點擊事件Text：指定要顯示的文本內容Image：指定要顯示的紋理Style：調整字體、顏色、對齊方式等屬性Texture屬性：設置顯示的紋理圖像。DrawTexture函數：用于繪制紋理圖像，參數包括位置、紋理、縮放模式等。Interactable：控制按鈕交互激活Transition：按鈕狀態過渡效果Navigation：定義按鈕的導航模式目錄CONTENTS8.1概述8.2

GUI介紹及使用8.3

UGUI介紹及使用8.4

NGUI介紹及使用8.5如何選擇你的UI戰略性新興領域教材建設團隊-重型高端裝備制造21第八章GUI界面設計關鍵技術8.5如何選擇你的UIGUIUGUINGUI優點簡單易用，適合快速原型開發；不需要額外安裝插件，集成度高。靈活性和擴展性：支持屏幕自適應、錨點系統、事件系統等高級功能；性能優化：通過底層C++代碼生成UIMesh，減少GC觸發次數，提升性能；組件豐富：包括Text、Image、Button、Slider等常用控件，支持圖文混排和動畫效果。高性能：基于3D渲染管線，適合對UI渲染性能要求較高的項目；靈活性：支持精靈創建和boxcollider，動畫效果豐富；組件豐富：包括LanguageSystem等，支持動態字體和性能優化。缺點性能較差，不適合復雜和高性能的UI需求；缺乏靈活性和擴展性，無法滿足現代游戲開發的需求。資源占用：UGUI在資源管理上稍顯復雜，需要合理優化；插件支持：某些高級功能需要額外插件支持。學習難度較高：需要手動編寫更多代碼；資源占用：NGUI在資源管理上可能稍顯復雜。戰略性新興領域教材建設團隊-重型高端裝備制造22第八章GUI界面設計關鍵技術8.5如何選擇你的UI這里以創建帶有圖標的Button按鍵為例子進行UGUI界面構建簡單教學。創建帶有圖標的Button按鍵分為三步，第一步創建Canvas畫布，是利用Canvas是的繪圖和布局能力，實現Button按鍵的靈活控制布局；第二步導入圖標素材；第三步創建Button按鍵并賦予圖標素材，使用HorizontalLayoutGroup命令，即可實現Button按鈕的快速排列布局。步驟一：步驟二：步驟三：THANKS第九章數據處理關鍵技術重型高端裝備制造目錄CONTENTS9.1基于XML的數據傳輸與處理9.1.1XML的發展史9.1.2XML的概述9.1.3XML與Unity3d的數據傳輸9.1.4XML文件的數據處理

9.2基于CSV的數據傳輸與處理9.3基于MATLAB的數據傳輸與處理9.4

SQLServer與SQLLite的數據傳輸第九章數據處理關鍵技術9.1.1XML的發展史戰略性新興領域教材建設團隊-重型高端裝備制造1第九章數據處理關鍵技術9.1.2XML的概述戰略性新興領域教材建設團隊-重型高端裝備制造2-可擴展標記語言（(ExtensibleMarkupLanguage)）-使用簡單的標記來描述數據<?xmlversion="1.0"encoding="UTF-8"?><books><!--圖書信息-->

<bookid="bk101">

<author>王珊</author>

<title>.NET高級編程</title>

<description>包含C#框架和網絡編程等</description>

</book>

<bookid="bk102">

<author>李明明</author>

<title>XML基礎編程</title>

<description>包含XML基礎概念和基本作用</description>

</book></books>XML聲明--定義XML版本注釋根元素屬性元素--由開始標簽、元素內容和結束標簽組成第九章數據處理關鍵技術9.1.3XML與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造3第九章數據處理關鍵技術9.1.3XML與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造4（1）在c#腳本中引入存儲Xml文件需要的庫usingSystem.Xml;（2）在c#腳本中，除了規定需要記錄的部件數據，還需要規定存儲Xml文件的路徑_xmlyyzzGuanJianDian_x=Path.Combine(Application.dataPath,"Resources/yyzzGuanJianDianGANZHI.xml");（3）在函數聲明部分寫好記錄Xml數據的函數publicvoidGet_yyzzGuanJianWeiZhiDian(stringyyzj_ID,stringYouGangGan_x,stringYouGangGan_y){//聲明方法}第九章數據處理關鍵技術9.1.3XML與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造5XML的創建運行結果第九章數據處理關鍵技術9.1.3XML與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造6在控制臺上掛載腳本點擊GUI按鈕生成XML文件第九章數據處理關鍵技術9.1.3XML與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造7在VisualStudio軟件中打開XML文件第九章數據處理關鍵技術9.1.4XML文件的數據處理戰略性新興領域教材建設團隊-重型高端裝備制造7點擊示范刀記錄數據記錄數據點擊改變搖臂角度和速度大小采煤機位置信息采煤機速度信息采煤機滾筒角度信息第九章數據處理關鍵技術9.1.4XML文件的數據處理戰略性新興領域教材建設團隊-重型高端裝備制造7數據驅動采煤機位置信息采煤機速度信息采煤機滾筒角度信息目錄CONTENTS9.3基于MATLAB的數據傳輸與處理9.4

SQLServer與SQLLite的數據傳輸9.1基于XML的數據傳輸與處理9.2基于CSV的數據傳輸與處理9.2.1CSV的概述9.2.2CSV與Unity3d的數據傳輸9.2.3CSV文件的數據處理

第九章數據處理關鍵技術9.2.1CSV的概述戰略性新興領域教材建設團隊-重型高端裝備制造2-純文本文件（(CommaSeparatedValues)）-用于存儲表格和電子表格信息表格列標簽元素:逗號分隔行中的每個單元格第九章數據處理關鍵技術9.2.2XML與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造3第九章數據處理關鍵技術9.2.2CSV與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造4（1）定義數據類usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;（2）寫入CSV文件using(StreamWriterstream=newStreamWriter(path,false,Encoding.UTF8));{stream.WriteLine(“ID,Name,Sex,Age");foreach(varitemindata){stream.WriteLine($"{item.ID},{item.Name},{item.Sex},{item.Age}");}}（3）調用寫入方法stringpath=Application.persistentDataPath+"/data.csv";WriteCsv(data,path);寫入表頭寫入數據第九章數據處理關鍵技術9.2.2CSV與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造6在每一臺支架上掛載腳本生成csv文件第九章數據處理關鍵技術9.2.2CSV與Unity3d的數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造7在Excel中打開CSV文件表格列標簽元素第九章數據處理關鍵技術9.2.3CSV文件的數據處理

戰略性新興領域教材建設團隊-重型高端裝備制造7第九章數據處理關鍵技術9.2.3CSV文件的數據處理戰略性新興領域教材建設團隊-重型高端裝備制造7第九章數據處理關鍵技術9.2.3CSV文件的數據處理戰略性新興領域教材建設團隊-重型高端裝備制造7目錄CONTENTS9.1基于xml的數據傳輸與處理9.2基于csv的數據傳輸與處理

9.3基于matlab的數據傳輸與處理9.3.1matlab的發展史9.3.2matlab的概述9.3.3動態鏈接庫封裝（DLL）9.3.4matlab運行文件解算以及數據傳輸9.4

SQLServer與SQLLite的數據傳輸第九章數據處理關鍵技術9.3.1matlab的發展史戰略性新興領域教材建設團隊-重型高端裝備制造1早期（1970）商業化與初步發展（1980）功能擴展與版本迭代（1990）進一步發展與創新（2000）現代化與多元化（2010至今）第九章數據處理關鍵技術9.3.2matlab的概述戰略性新興領域教材建設團隊-重型高端裝備制造2定義：MATLAB是一種高級編程語言和交互式計算環境，主要用于數值計算、數據分析、算法開發、模型仿真和可視化。它以矩陣作為基本數據單元，提供了豐富的數學函數和工具箱，能夠高效地處理復雜的數學問題。矩陣運算為核心高級編程語言工具箱強大可視化功能強大與其他語言和工具的集成跨平臺支持特點數值計算算法開發機器學習與深度學習模型仿真數據處理與分析功能第九章數據處理關鍵技術9.3.3動態鏈接庫封裝（DLL）戰略性新興領域教材建設團隊-重型高端裝備制造3動態鏈接庫（DynamicLinkLibrary，DLL）是Windows操作系統中的一種模塊化程序設計方式，它允許將一組相關的函數、變量和數據結構封裝成一個可共享的庫文件，在圖形處理、網絡通信、數據庫訪問、音頻處理等方面都有強大功能。以下是它處理數據的具體步驟：（1）將DLL文件放置在Unity3d項目的合適位置，比如項目的Plugins文件夾。確保DLL文件與Unity3d兼容（2）在Unity3d的C#腳本中聲明需要使用的DLL方法。通過將DLL文件放置在Unity3d項目中并在C#腳本中聲明導入方法，就可以在Unity3d中調用DLL的功能和方法。具體實現過程為：①先封裝MATLAB的.m文件為DLL文件，并針對配置環境完成相應的設置。②在c#程序中進行引用dll，便可以在Unity3d中的計算過程中調用封裝的函數。具體封裝步驟為：在窗口輸入deploytool，再選擇“LibraryComiler”選項，再根據后續步驟進行打包，導出所選文件的dll文件。第九章數據處理關鍵技術9.3.3動態鏈接庫封裝（DLL）戰略性新興領域教材建設團隊-重型高端裝備制造4第九章數據處理關鍵技術9.3.4matlab運行文件解算以及數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造5將MATLAB程序封裝為.exe文件并在Unity3D中調用（1）封裝MATLAB程序為.exe文件使用MATLABCompiler生成.exe文件，測試生成的.exe文件，確保.exe文件運行后能正確生成.csv文件。（2）在Unity3D中調用.exe文件在Unity中使用System.Diagnostics.Process啟動.exe文件，運行結束后讀取CSV文件，確保CSV文件路徑正確。第九章數據處理關鍵技術9.3.4matlab運行文件解算以及數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造6C#直接驅動在MATLAB中完成計算（1）引用MATLABCOM接口庫：在C#項目中引用MATLAB提供的COM接口庫。（2）調用MATLAB程序：在C#代碼中，可以直接調用MATLAB程序進行數值計算。這需要使用COM接口提供的方法和對象來創建MATLAB實例，并調用相應的函數和腳本進行計算。通過CSV文件來進行數據的傳輸。在C#中，可以通過文件操作將需要計算的數據寫入CSV文件中，然后讓MATLAB程序讀取這些CSV文件進行計算。計算完成后，MATLAB程序可以將結果寫入新的CSV文件，C#再讀取并處理這些結果數據。通過COM接口實現。具體步驟如下：第九章數據處理關鍵技術9.3.4matlab運行文件解算以及數據傳輸戰略性新興領域教材建設團隊-重型高端裝備制造7具體操作步驟為：首先在工程中引用MATLABApplication(Version9.0)Typelibaray，不同版本MATLAB對應的庫的版本也不一樣，添加引用后，引用目錄下多了一個MLApp文件。利用下面代碼即可實現調用，之后添加相應的輸入數出的變量。目錄CONTENTS9.1基于xml的數據傳輸與處理9.2基于csv的數據傳輸與處理

9.3基于matlab的數據傳輸與處理9.4

SQLServer與SQLLite的數據傳輸9.4.1SQLServer與SQLLite介紹9.4.2SQL和Unity3d通訊耦合9.4.3數據傳輸的實現與安全性第九章數據處理關鍵技術9.4.1SQLSERVER與SQLLite介紹戰略性新興領域教材建設團隊-重型高端裝備制造5隨著互聯網的發展和信息量的驟增，SQLServer數據庫與SQLLite數據庫技術在當今各行各業的信息管理系統中，成為了必不可少的技術之一，也是計算機信息系統與應用系統的核心技術和重要基礎。具體的，SQL語句的執行流程如下：第九章數據處理關鍵技術9.4.1SQLServer與SQLLite介紹戰略性新興領域教材建設團隊-重型高端裝備制造5實際上，在數據處理和傳輸方面，SQLServer與SQLLite也有一些區別，適用于復雜的數據處理需求和大規模數據管理，能夠提供高性能和安全性；而SQLite適用于小型應用程序和移動設備，具有簡單易用的特點和跨平臺性。根據具體的應用場景和需求，可以選擇適合的數據庫系統來進行數據處理和傳輸，而且SQLServer數據庫和SQLite數據庫為了更好地保護數據，建立了如右圖所示的安全機制。第九章數據處理關鍵技術9.4.2SQL和Unity3d通訊耦合戰略性新興領域教材建設團隊-重型高端裝備制造6SQLServer與SQLLite

中有許多不同類型的SQL指令，用于執行各種操作，包括創建、讀取、更新和刪除數據，管理數據庫對象等。以下是一些常見的SQLServer指令：指令功能CREATEDATABASE創建一個新數據庫CREATETABLE創建一個新表ALTERTABLE修改現有表的結構DROPDATABASE刪除一個數據庫DROPTABLE刪除一個表CREATEINDEX在表上創建一個索引SELECT從數據庫中檢索數據INSERTINTO將新數據插入到表中UPDATE更新表中的數據DELETEFROM從表中刪除數據第九章數據處理關鍵技術9.4.2SQL和Unity3d通訊耦合戰略性新興領域教材建設團隊-重型高端裝備制造6由于C#是Unity3d的主要開發語言，Unity3d與SQLServer軟件通信實質上等同于C#與SQLServer通信，兩者通過ADO.NET進行數據交互，其結構如圖所示：第九章數據處理關鍵技術9.4.2SQL和Unity3d通訊耦合戰略性新興領域教材建設團隊-重型高端裝備制造6實現Unity3d與SQLServer數據交互，主要有以下兩種方式：方法一：通過NET.Framework數據提供程序中相應類庫實現Unity3d與SQLServer數據交互。方法二：通過DataAdapter將數據緩存與DataSet中。下表為綜合對比分析兩種方法的特點，其中方法一內存占用較低，數據讀取速度快，為更優的方法。內存占用

數據讀取速度代碼復雜度方法一

低快高方法二高慢低第九章數據處理關鍵技術9.4.3數據傳輸的實現與安全性戰略性新興領域教材建設團隊-重型高端裝備制造7在建立數據通訊前，為確保Unity3d與SQLServer數據庫數據交互，需將Unity3d安裝目錄下的System.Data.dll文件復制到Unity3d項目文件夾下，該動態鏈接庫中包含以上所介紹的Net.Framework數據提供程序中的相關類庫，并在相應的C#腳本中引用該動態鏈接庫。根據服務器IP地址、數據庫名稱、用戶名和密碼，利用SqlConnection對象建立Unity3d與SQLServer數據交互通道。代碼如下：從上到下以此為：SQLServerIP地址數據庫名稱登錄用戶名登錄密碼THANKS第十章人機交互關鍵技術重型高端裝備制造目錄CONTENTS10.1基于VR的人機交互關鍵技術10.2基于

HoloLens2的人機交互關鍵技術10.3基于人體動作識別的交互關鍵技術第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1目錄CONTENTS10.1基于VR的人機交互關鍵技術10.1.1硬件配置要求10.1.2開發環境配置10.1.3HTCVIVE手柄控制10.1.4UGUI設計10.2基于

HoloLens2的人機交互關鍵技術10.3基于人體動作識別的交互關鍵技術第10章人機交互關鍵技術10.1基于VR的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1HTCVive是由HTC與Valve聯合開發的一款VR頭顯（虛擬現實頭戴式顯示器）產品。由以下三個部分構成：一個頭戴式顯示器、兩個單手持控制器、一個能于空間內同時追蹤顯示器與控制器的定位系統（Lighthouse）。HTCVive

VR設備從最初可以給游戲帶來沉浸式的體驗，延伸到可以在更多領域施展想象力和應用開發潛力。一個最現實的例子是，可以通過虛擬現實搭建場景，實現在醫療、教學以及煤礦領域的應用。第10章人機交互關鍵技術10.1.1硬件配置要求戰略性新興領域教材建設團隊-重型高端裝備制造1

GPU：NVIDIA?

GeForce?

GTX970、AMD

Radeon?

R9290同等或更高配置

CPU：Intel?Core?i5-4590/AMD

FX?8350同等或更高配

RAM：4GB或以上

視頻輸出：HDMI1.4、DisplayPort1.2或以上

USB端口：1xUSB2.0或以上端口

操作系統：Windows?

7SP1、Windows?

8.1或更高版本、Windows?

10第10章人機交互關鍵技術10.1.2開發環境配置戰略性新興領域教材建設團隊-重型高端裝備制造1下載并安裝Steam平臺選擇“庫”選項選擇“工具”選項搜索SteamVR并下載安裝SteamVR就緒運行SteamVR第10章人機交互關鍵技術10.1.2開發環境配置戰略性新興領域教材建設團隊-重型高端裝備制造1插好VR頭戴顯示器運行房間設置新建一個Unity工程，在AssetStore窗口中搜索SteamVR并下載將“[CameraRig]”拖入場景并運行完成配置第10章人機交互關鍵技術10.1.3HTCVIVE手柄介紹戰略性新興領域教材建設團隊-重型高端裝備制造11-菜單按鈕

2-觸控板

3-系統按鈕

4-狀態指示燈5-Micro-USB端口

6-追蹤感應器

7-扳機

8-手柄按鈕狀態指示燈綠色：表示HTCVive手柄目前狀態正常，可以正常使用；藍色：表示操控手柄已經成功和頭戴式設備配對；閃爍藍色：表示操控手柄正在和頭戴式設備進行配對；橙色：表示手柄正在充電，當手柄變為綠色時，表示充電完畢；閃爍紅色：手柄低電量，即將沒電；第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造110.1.3HTCVIVE手柄控制l

Controller(left):左側手柄（相當于人的左手）。l

Controller(right):右側手柄（相當于人的右手）。l

Camer(head):頭盔。l

Camer(eye):相當于人的眼睛。l

Camer(eye):相當于人的耳朵。l

Model：主要是為了在虛擬環境下創建手柄模型。第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1我們在讀取手柄的輸出信息時，用到SteamVR_TrackedObj組件。步驟如下：1.

獲取SteamVR_TranckedObj組件下的Index變量。例：GetCommpent<SteamVR_TrackedObj>().Index;2.

然后通過SteamVR_Controller類下的Input接口獲取實現手柄按鍵輸入類型。輸入類型包括以下幾種：l

GetPress:長按。l

GetPressDown:按下l

GetPressUp:抬起l

GetTouch:一直觸摸l

GetTouchDown:觸摸l

GetTouchUp:觸摸抬起l

TriggerHapticPulse:震動10.1.3HTCVIVE手柄控制第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造110.1.3HTCVIVE手柄控制3.

獲取按鍵類型通過SteamVR_Controller.ButtonMask類獲取。ButtonMask上述所說的所有按鍵。如：扳機鍵SteamVR_Controller.ButtonMask.Trigger。4.

手柄輸入實例：扳機鍵按下：int

index=(int)GetCommpent<SteamVR_TrackedObj>().IndexSteamVR_Controller.Input(index).GetPressDown(SteamVR_Controller.ButtonMask.Trigger);手柄震動：SteamVR_Controller.Input(index).TriggerHapticPulse(200)。參數標示震動強度。第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1創建Canvas，將Canvas的RenderModel設為WorldSpace創建所需UI10.1.4UGUI設計目錄CONTENTS10.1基于VR的人機交互關鍵技術10.2基于

HoloLens2的人機交互關鍵技術10.2.1基于HoloLens2的混合現實技術10.2.2基于HoloLens2的機械裝備AR/MR巡檢技術10.3基于人體動作識別的交互關鍵技術第10章人機交互關鍵技術10.2基于HoloLens2的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1混合現實（MixedReality，簡稱MR）技術是一種將虛擬世界和現實世界相結合的技術，它的主要價值在于將數字信息帶入到個人對現實世界的感知中，而不是簡單的數據顯示，通過與被視為環境自然部分的沉浸式集成來實現對現實的增強。借助HoloLens2設備的優秀能力（例如本能手勢操作、語音命令、眼動凝視交互)，用戶周圍的混合世界變得可交互和可操作。視頻，帶視頻的PPT見視頻資源視頻，帶視頻的PPT見視頻資源第10章人機交互關鍵技術10.2基于HoloLens2的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1負責真實場景種疊加全息影像負責感知外部環境信息負責虹膜識別，采集眼部數據第10章人機交互關鍵技術10.2.1基于HoloLens2的混合現實技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）開發環境準備Windows10VisualStudio2019/2022Unity2020/2021MRTK第10章人機交互關鍵技術10.2.1基于HoloLens2的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1構建Unity項目切換平臺設置項目導入MRTK導出VS工程創建和設置場景配置MRTK導入TextMeshPro部署到真機設備發布MR應用（2）應用開發與部署流程第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1基于HoloLens的機械裝備AR/MR巡檢技術是一種利用混合現實技術來改進機械裝備巡檢過程的解決方案。通過將MR任務界面疊加到實際機械裝備附近，任務面板可以實時獲取設備狀態信息、執行操作指導，并進行故障排查等工作。第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計—按鈕（Button）介紹其中BoxCollider組件用于設置按鈕碰撞器形狀；PressableButtonHoloLens2組件用于實現按鈕交互的形態改變及各交互狀態事件；PhysicalPressEventRouter組件為路由組件，用于設置何時(Touch、Press、Click)將手勢操作事件轉發到Interactable組件，即控制什么操作觸發OnClick事件；Interactable

組件負責處理各類交互輸人和事件，包括設置語音命令、OnClick事件；AudioSource組件用于提供操作時的音效反饋；ButtonConfigHelper組件是一一個簡化按鈕使用的幫助類組件，它提供了最直接使用按鈕的界面，利用它可以輕松設置按鈕顯示文字、圖標、OnClick事件，實現按鈕功能，但該組件設置的參數最終都被轉發到各功能組件中，其本身并不負責處理。第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計—Slate面板介紹Slate面板用于創建可定制、交互性強的任務界面，它提供了靈活的布局選項、樣式定制功能以及事件處理能力。通過Slate面板可以快速構建適應HoloLens應用程序需求的界面，提供了良好的交互體驗，如圖所示。第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計通過上面的學習，我們已經知道制作MR巡檢系統界面的方法，接下來我們將學習如何通過Hololens2使用該系統。HoloLens2設備支持多種模態交互方式（手勢、語音和凝視交互），這種多模態交互設計為使用者提供了豐富、自然和有效的操作體驗。手勢交互語音交互凝視交互第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計—手勢交互HoloLens2手勢交互方式，用于與附近的全息影像進行觸摸操作。當人體的手部靠近全息影像時，食指尖上會出現一個白色圓圈，這是觸摸光標，通過它來點擊、滾動或抓取全息影像，實現自然手勢交互。視頻，帶視頻的PPT見視頻資源第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計—語音交互Hololens2語音交互方式，能通過識別語音命令的關鍵詞和對應的響應事件，實現輸出語音指令的能力。其工作場景通常用于控制與選擇，用于確定事件的執行。例如視頻中通過語音控制機器人轉動。視頻，帶視頻的PPT見視頻資源第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計—凝視交互Hololens2凝視交互的實現基于眼動跟蹤功能，眼球跟蹤系統可以根據眼睛數據來生成一個眼睛方向向量，表示正在看的方向。眼睛方向向量可以與全息圖像或真實世界的物體相交，從而確定凝視目標。通過一種次要的確認輸入，例如手勢、按鈕或語音命令，可以對凝視目標進行操作。視頻，帶視頻的PPT見視頻資源目錄CONTENTS10.3基于人體動作識別的交互關鍵技術10.1基于VR的人機交互關鍵技術10.2基于

HoloLens2的人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述10.3.2AzureKinect與Unity3d的配置第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1AzureKinect設備簡介AzureKinect設備是實現體感交互方法最先進的硬件設備之一，搭載了100萬像素TOF高級深度相機、1200萬像素全高清攝像頭以及方向傳感器等，具有復雜的計算機視覺和語音模型、高級AI傳感器以及提供了深度、視覺、聲音、方向四大類傳感器SDK，可以實現對人體的3D輪廓掃描，主要硬件結構及功能見表所示。第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1硬件名稱功能麥克風陣列由4個麥克風組成，可以確定聲源位置并實現自動去噪。紅外投影機向外投射紅外光譜，產生可以被紅外攝像頭讀取的隨機的斑點圖樣（散斑）。紅外攝像頭分析計算采集的散斑數據，建立出可視范圍的深度圖像。USB線纜USB3.0接口，傳輸Kinect采集到的數據流。且因為Kinect功率較大，需要配合獨立電源使用。彩色攝像頭采集

RGB數據流。Kinect主要硬件結構及功能第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1在運行基于AzureKinect的人體跟蹤演示之前，需要確保計算機具有以下規格的配置：(1)

第7代Intel?CoreTMi5處理器及以上（四核2.4GHz或更快）(2)

4GB內存及以上(3)

顯卡為NVIDIAGeForceGTX1070及更高版本(4)

具有專用的USB3端口(5)

Windows10要編寫和執行代碼、運行demo，你需要安裝以下軟件：(1)

VisualStudio2019及以上(2)

Unity3d(3)

AzureKinectBodyRrackingSDK(4)AzureKinectSensorSDK第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1

第10章人機交互關鍵技術10.3.2AzureKinect與Unity3d的配置戰略性新興領域教材建設團隊-重型高端裝備制造11.

AzureKinectSensorSDK的安裝/en-us/previous-versions/azure/kinect-