虛擬現實康復原理與應用設計教育部高等學校生物醫學工程類專業教學指導委員會“十四五”規劃教材康復科學與技術系列教材虛擬現實康復中的人機交互第四章虛擬現實人機交互簡介01廣義上講，人機交互技術(Human-ComputerInteractionTechniques)是指通過計算機輸入/輸出設備，以有效的方式實現人與計算機對話的技術。它包括傳統人機交互方式和自然人機交互方式兩種，傳統人機交互方式包括鼠標交互、鍵盤交互等:自然人機交互方式包括語音交互、手勢交互等。對虛擬現實康復應用而言，人機交百不僅體現在由計算機及其外圍硬件系統展示給患者的虛擬場景元素，還有患者在康復訓練中對虛擬場景的作用和影響，通常是患者所表現出的生理活動、行為特征參數，它們作為虛擬現實系統的輸入信息。在虛擬現實康復中，人機交互技術是連接患者與虛擬任務的橋梁和紐帶，是確保患者的運動、認知等生理、心理狀態及時被計算機感知的基礎，其地位十分重要一般而言，用于虛擬現實康復的人機交互硬件設備既可以是鍵盤、鼠標、搖桿、方向盤、操作手柄、觸摸屏等傳統交互設備，也可以是功能較為豐富的自然交互設備如數據手套、手勢捕獲設備、體感設備、智能手環、腦電采集裝置、肌電采集裝置力反饋設備等。原則上，一切游戲外設、可穿戴式設備和自然交互設備都可以作為虛擬現實康復的交互設備。虛擬現實人機交互是指以計算機技術為基礎，生成逼真的視、聽、觸覺一體化且在特定場景范圍內的虛擬環境，通過外部設備，用戶以自然可操作的方式與虛擬環境中的對象進行指令或信息交互，從而產生置身于真實環境中的體驗和感受。為了給用戶提供一種更加生動且接近現實的沉浸式體驗，虛擬現實需要同時具備高真實感的環境表達和高效的用戶和環境之間的信息交換的特征，這其中涉及的人機交萬技術包含三維交瓦、姿勢交瓦、肌電與神經交瓦、手持移動設備交瓦、語音交互、力觸覺交互和多通道交瓦技術等。①三維交瓦:虛擬現實中最重要的交互方式之一，相較于二維交互，提供了更多的操作自由度，涉及全新的交互隱喻技術。②姿勢交:在虛擬現實中，將用戶的身體或肢體運動作為一種重要的輸入通道的交互方式。其中，體感交互是最直接的姿勢交互，它利用體感控制器檢測、記錄身體運動并以此控制虛擬對象進行互動，目前已廣泛應用的體感產品有Kinect、LeapMotion等。③肌電與神經交互:通過對肌電信號或腦電信號檢測及其運動意圖識別，以識別結果控制虛擬對象的交互方式。不斷發展的肌電手環及其運動手勢識別算法促進了肌電交互應用，近年來發展起來的腦電檢測模塊和腦電頭盔也為腦神經虛擬現實交互提供了新的技術手段。④手持移動設備交互:隨著電子信息技術的進步，手機為代表的手持移動設備集成了相機、GPS、加速度計等不同的傳感器，提升了設備對環境和用戶行為的感知能力。⑤語音交互:用戶通過發布語音命令請求系統執行特定功能，該交互方式解放了用戶的雙手。⑥力觸覺交互:力觸覺交互技術在虛擬現實中有著不可替代的作用，相較于傳統的視覺交互和聽覺交互，它更能使用戶產生真實的沉浸感。⑦多通道交:廣義上是指通過文字、語音、視覺、動作、環境等多種方式進行人機交互。在康復領域，更多的是指利用兩種或兩種以上多源數據之間的互補性實現動作、手勢、情感、意識等識別，進而進行人機交瓦的方法。例如，基于腦申和肌電融合進行運動識別，進而實現虛擬現實康復;基于Kinect骨架數據和肌電融合進行手勢動作識別，進而實現虛擬現實康復;基于Kinect骨架數據、肌電和心電腦電融合，實現虛擬現實康復系統的設計等。從生物醫學工程技術的角度看，虛擬現實人機交互是利用各種類型的傳感檢測技術獲取用戶的生理參數，再通過對生理參數的分析并結合預先設計的映射模式，由生理參數影響和改變虛擬對象的特征和狀態，如運動快慢和運動方位等。另外，用戶在觀察或感受到虛擬對象狀態發生改變時，又會根據虛擬對象的狀態改變不斷調整自身的生理狀態參數，以實現其與虛擬對象的人機交互。圖4-1所示是虛擬現實人機交互的信息傳遞示意圖。手指運動模式及手勢識別02手指運動生物力學特征依靠獨特的生理解剖結構和神經肌肉控制，手具有人體最復雜的運動功能。手是多關節器官，由手掌和五指構成。除拇指外，其余每根指都由3塊指骨和3個關節構成，如圖4-2所示。手的關節包括燒腕關節、腕骨間關節、腕掌關節、掌骨間關節、掌指關節和指骨間關節，這些關節有的能做屈、伸、收、展及環轉運動。手指運動生物力學特征人手關節主要有如下兩種運動形式①屈和伸:組成關節的兩骨相互靠攏，其夾角逐漸變小的運動為屈;相反，兩骨之間的夾角逐漸變大的運動為伸。②內收和外展:手指在內收和外展時，以通過中指中軸的假想線為準，手指向中指中軸靠攏的運動為內收，而手指離開中指中軸的運動為外展。手部的掌指關節有兩個自由度，可以進行屈伸及內收/外展兩種運動，而近指骨間關節和遠指骨間關節均只有1個自由度，只可進行屈伸運動?；跀祿痔椎氖种高\動檢測及手勢識別數據手套的概念最早來自美國的JaronLanier于20世紀80年代提出的可穿戴式設備，它可檢測手部運動數據、反饋手部運動信息，使用者可以通過佩戴數據手套在虛擬場景中實現諸如抓取、觸摸、移動物體等動作。作為虛擬現實系統的一種全新的交互手段，數據手套可以檢測手部運動信息、定位手部空間位置、測量手指彎曲度等數據。現在主流的數據手套有基于光纖傳感器的數據手套、基于磁力計的數據手套、基于加速度傳感器的數據手套和力反饋手套?；跀祿痔椎氖种高\動檢測及手勢識別基于光纖傳感器的數據手套采用光電彎曲傳感器，可以檢測手指關節彎曲角度和指縫間的延展角度，甚至包括手腕的轉動和傾斜，適用于有限的簡單手勢的輸入。這類交互檢測系統的代表產品是5DT數據手套（見圖4-3）,它提供了跨平臺的數據接口，可獲取傳感器原始數據和自動校正數據，提供內置校正功能，并提供基本手勢的識別?；跀祿痔椎氖种高\動檢測及手勢識別數據手套的概念最早來自美國的JaronLanier于20世紀80年代提出的可穿戴式設備，它可檢測手部運動數據、反饋手部運動信息，使用者可以通過佩戴數據手套在虛擬場景中實現諸如抓取、觸摸、移動物體等動作。作為虛擬現實系統的一種全新的交互手段，數據手套可以檢測手部運動信息、定位手部空間位置、測量手指彎曲度等數據?，F在主流的數據手套有基于光纖傳感器的數據手套、基于磁力計的數據手套、基于加速度傳感器的數據手套和力反饋手套?；跀祿痔椎氖种高\動檢測及手勢識別基于光纖傳感器的數據手套采用光電彎曲傳感器，可以檢測手指關節彎曲角度和指縫間的延展角度，甚至包括手腕的轉動和傾斜，適用于有限的簡單手勢的輸入。這類交互檢測系統的代表產品是5DT數據手套（見圖4-3）,它提供了跨平臺的數據接口，可獲取傳感器原始數據和自動校正數據，提供內置校正功能，并提供基本手勢的識別?；跀祿痔椎氖种高\動檢測及手勢識別在虛擬現實應用中，建立人手的模型，即虛擬手，并根據從數據手套獲取的數據更新各組成部分的相對位置和方位。由于虛擬手的各組成部分是相互關聯的，其運動是相互影響和牽連的，各手指的各指段從指根到指尖的運動存在著繼承關系。因此，通常需要建立樹形拓撲結構。為了表現和控制虛擬手的這種運動特性，可將虛擬手的各組成部分視為不同的對象，并對其所具有的屬性和操作進行封裝。在如圖4-4所示的虛擬手模型的樹形拓撲結構中，手掌和各手指的指根為第一級子對象，各手指的中部指段為對應指根的子對象，指尖為對應的中部指段的子對象，指尖沒有子對象。父對象的運動會帶動子對象運動，子對象的運動不會影響父對象的運動。手指運動的體感傳感檢測為了實現對手指運動參數的檢測，國外某公司開發了一款專門捕獲手運動的體感控制器———LeapMotion0該設備利用內置的核心部件，即3個紅外發光二極管，1片窄帶濾光片及2個內置攝像頭(左右對稱)，實現從不同角度對手部運動的捕捉。LeapMotion采用右手笛卡兒坐標系，原點在LeapMotion體感控制器的中心，X軸平行于控制器的長邊，Z軸平行于控制器的短邊，兩軸位于同一水平面，￥軸垂直于該水平面，正方向向上，如圖4-5(a)所示。LeapMotion的可視范圍呈倒金字塔形，塔尖在設備中心，工作范圍大約在設備前方的25?600mm。定義人手掌心的法向量為PalmNormal,切向量為Direction,如圖4-5(b)所示，通過這兩個向量可表示手掌的方位。手指運動的體感傳感檢測通過LeapMotion傳感器可以獲取各個指骨的單位方向向量。進一步，手指屈伸運動可看成旋轉運動，遠指骨間關節及近指骨間關節的旋轉角可通過與該關節相連的兩指骨的方向向量求解。以食指為例(見圖4-6)，遠指骨間關節及近指骨間關節的旋轉角公式分別為：手指運動的體感傳感檢測

手指運動的體感傳感檢測設手掌平面法向量為肛，手掌平面與手指平面交線的單位方向向量為小:可求得掌指關節屈伸的角度值:基于LeapMotion記錄的數據，可以得到不同手勢的手指運動學參數。圖4-7、圖4-8所示分別是右手抓握運動時不同手指的近指骨間關節角度、角速度隨時間的變化情況，它們具有幾乎一致的時間變化過程。肢體運動模式檢測03肢體運動的非接觸體感交互檢測體感交互技術是指用戶可以直接使用肢體動作與周邊的裝置或環境互動，無須使用任何復雜的控制設備，便可讓用戶身臨其境地與內容進行互動。Kinect是某公司推出的一款融合即時動作捕捉、影像辨識等功能的體感交互設備。它在硬件上集成了紅外線發射器、RGB彩色攝像頭、深度攝像頭及麥克風陣列多項數據采集設備，其具體分布如圖4-9所示。肢體運動的非接觸體感交互檢測Kinect的仰角控制電機可以調整攝像機的拍攝角度和視野。如圖4-10所示，從俯視與側視兩個角度展示了Kinect的視野范圍，圖4-10(a)所示的俯視圖中傳感器可以在水平線上檢測到57.5°視野范圍內的物體，如圖4-10(b)所示的側視圖展示了攝像頭本身在豎直范圍內的43.5°視野以及可通過驅動底座控制電機從而額外調整仰角所增加的±27。視野。肢體運動的非接觸體感交互檢測Kinect的傳感系統采用基于“管線”結構的體系構架，通過其內部配置的NUI接口庫可為開發者提供3類原始數據流，即深度數據流(DepthStream)、彩色數據流(ColorStream)及音頻數據流(AudioStream)。根據數據流的不同類型，開發者可對數據進行處理并進一步實現骨骼追蹤、身份識別、語音識別等功能。如圖4-11所示為Kinect數據流示意圖。可穿戴式人體運動信息檢測肢體關節運動可以通過姿態檢測進行運動過程跟蹤和參數測量。一種六軸姿態角度傳感器(MPU-6050)廣泛用于關節運動信息檢測，它可以同時記錄加速度及角速度信號，采用動力學解算及卡爾曼濾波算法能夠實時求解出模塊的當前姿態。在檢測跟蹤上肢運動時，六軸姿態角度傳感器默認Z軸方向為豎直向上，X軸、y軸構成的平面平行于水平面，z軸角度是相對角度。在實現運動的實時可視化時，需要對人體運動的姿態變換進行解算，根據各種姿態表示方法之間的換算及坐標變換方法，可以解算出上肢的運動情況。傳感器可以實時輸出當前姿態的歐拉角表示及四元數表示?？纱┐魇饺梭w運動信息檢測(1)歐拉角表示如圖4-12所示，歐拉角是載體姿態描述方式中最為直觀的一種，因此常用來表示姿態角信息。在空間中，歐拉角描述從一個參考系通過已知的方向，經過一系列基本旋轉得到新的參考系的方向的方式。歐拉角的核心思想是，將一次姿態變換的過程用三次旋轉來表示，每一次旋轉都是繞著某一個直角坐標系進行的，將三個旋轉角度構成一個序列，即可表示為歐拉角，其坐標系旋轉順序定義為z—y—X,即先繞z軸旋轉，再繞y軸旋轉，最后繞x軸旋轉?？纱┐魇饺梭w運動信息檢測歐拉角的三次旋轉過程如下。第一次旋轉：z軸不動，旋轉獷角度，相應的變換矩陣為第二次旋轉：在第一次旋轉的基礎上，y軸為不動軸，旋轉e角度，相應的變換矩陣為(1)歐拉角表示可穿戴式人體運動信息檢測第三次旋轉：在前兩次旋轉的基礎上，X軸為不動軸，旋轉8角度，相應的變換矩陣為最后可得到姿態矩陣為(1)歐拉角表示可穿戴式人體運動信息檢測（1）四元數表示四元數是一個四維矢量，由4個元素構成。它可以用來表示剛體在三維空間中的姿態。如圖4-13所示。三維直角坐標系。豆匕Z&可以認為是由0豆匕2八坐標系圍繞向量由旋轉e角度而得到的?？纱┐魇饺梭w運動信息檢測在單位時間間隔△t內，假設剛體角速度為ω，則該轉動軸的方向e及繞該軸轉切過的角度φ分別為相應的四元數表達式為滿足約束條件以超復數形式表示為滿足約束條件利用三角函數公式：可將四元數轉換成姿態矩陣（1）四元數表示可穿戴式人體運動信息檢測（1）四元數表示慮擬現實康復系統組成與設計04神經信息解碼及虛擬現實交互虛擬現實交互中，神經肌肉電生理信號被實時檢測，通過時域、頻域及時頻域或變換域的信號分析方法，提取當前狀態下神經肌肉電活動特征參數，再通過分類和模式識別算法判別用戶運動意圖，并以此驅動和控制虛擬場景中的目標對象，包括運動模式、運動快慢等運動學特征，以及力量大小及動態變化過程等動力學特征。肌電信號檢測及運動意圖識別1.肌電信號檢測原理肌肉作為運動系統的重要組成部分，它的興奮與收縮是骨骼肌最基本的機能，也是肌電信號形成的基礎。人體中每個肌細胞(又稱肌纖維)都受到來自運動神經元軸突分支的支配，只有當支配肌肉的神經纖維興奮時，動作電位通過神經傳遞給肌肉，才能引起肌肉的興奮。一個單獨的運動神經元能夠支配多個肌纖維，但每個肌纖維只能被一個運動神經元支配。一個單獨的運動神經元和它所控制的肌纖維組成的興奮收縮偶聯單位稱為一個運動單元。當一個運動單元受到刺激時，肌纖維產生并傳導電沖動，最終導致肌肉收縮。因此，肌電信號實際直接反映了運動神經指令，也常作為一種重要的神經接口信號，被廣泛應用于臨床神經肌肉系統狀態評估、生物反饋、假肢控制、康復治療及臨床診斷等方面。肌電信號檢測及運動意圖識別2.肌電信號特征分析及運動模式識別肌電信號是一種微弱的隨機生理信號，直接記錄的肌電信號需要經過預處理、特征分析、模式識別3個主要環節才可實現對運動意圖或運動模式的識別。肌電信號檢測及運動意圖識別2.肌電信號特征分析及運動模式識別預處理預處理環節主要對原始肌電信號進行帶通濾波、50Hz陷波(抑制工頻干擾)。特征分析頻域特征包括中值頻率、中位頻率等。小波分解、經驗模態分解、獨立分量分析也廣泛用于獲得肌電信號的時頻域及變換域特征。模式識別經過上一步特征分析后，將所有類別的特征值構建成訓練數據并作為特征向量，輸入分類器中構建訓練模型，并用測試數據測試其分類精度，得到最終分類識別結果，該結果用于目標動作的解碼，輸出控制命令。肌電信號檢測及運動意圖識別2.肌電信號特征分析及運動模式識別腦神經信號檢測及虛擬現實交互腦電信號檢測原理①腦電信號幅值較小，背景噪聲的干擾非常嚴重。在頭皮中采集的腦電信號其幅值大小通常為0」?30W丫。同時，由于50Hz工頻干擾、肌電信號、心電信號及眼電信號干擾等帶來的背景噪聲，使得原始腦電信號的成分較為復雜。因此，腦電信號預處理是腦電信號特征分析的關鍵。②腦電信號具有明顯的非平穩特性，有很強的隨機性。這是因為大腦具有很強的自適應性，使得腦電信號隨時間變化呈現非平穩特征。③腦電信號具有非線性特性。機體組織的自我調節及自適應機制導致腦電信號呈現非線性特征，這對傳統的基于線性理論的信號分析技術提出了挑戰。因此，在腦電信號的處理過程中應關注如何盡量減小其非線性特性的影響。01腦神經信號檢測及虛擬現實交互④腦電信號具有顯著的頻域特性。因此，腦電信號的頻域分析一直是腦電信號分析研究的重點。⑤腦電信號具有特定的節律特性。根據頻率可以將其劃分成6、6、a、仇y波等，具體如表4.2所示。1.腦電信號檢測原理腦神經信號檢測及虛擬現實交互腦電信號可分為自發腦電和誘發腦電。自發腦電是指無特定外部刺激時的腦神經電活動變化，可用于診斷癲癇、腦腫瘤，也常為腦損傷、腦血栓、腦發育異常等疾病的診斷、預后和治療提供重要臨床信息，此外還用于睡眠、麻醉狀態的監護；誘發腦電是指人體受到特定刺激后引起的腦神經電活動變化，又稱為誘發電位(EvokedPotentials,EP)或事件相關電位(Event-relatedPotentials,ERP),常見的有聽覺誘發電位、視覺誘發電位、體感誘發電位3種類型，誘發電位在神經系統異常的診斷、聽覺/視覺功能評價等方面有廣泛的臨床應用價值。近年來，腦電信號廣泛用于腦機接口。1.腦電信號檢測原理腦神經信號檢測及虛擬現實交互2.腦電信號特征分析經過長期發展，研究人員已經提出了多種腦電信號分析處理方法。20世紀60年代，研究人員提出了快速傅里葉變換、信號分段和譜平均法等方法用于處理腦電信號。腦電信號作為一種隨機信號，除采用在頻域中進行譜分析外，時間序列分析、參數模型法等時域處理方法也逐漸應用于腦電信號的分析處理，并且具有更強的腦電特征提取能力。近年來，小波變換、神經網絡分析、混沌分析等新的信號技術也開始用于腦電信號的分析處理?？傮w而言，腦電信號的常用分析方法主要有以下幾類。腦神經信號檢測及虛擬現實交互2.腦電信號特征分析①時域分析方法。腦電信號的時域分析可提取腦電時域特征，如特征電位潛伏期。通?？捎梅讲罘治?、相關分析、峰值檢測和過零點檢測等時域分析方法。②頻域分析方法。通過腦電功率譜分析可以提取腦電信號的頻域特征進行分析，如經典譜估計(周期圖)法和現代譜估計(參數模型譜估計)法等。③時頻分析方法。20世紀80年代發展起來的小波變換是針對非平穩信號的新時頻分析法。小波變換等時頻分析法正適用于非平穩性質的腦電信號分析。發展至今，腦電信號的時頻分析已經較為成熟，并取得了許多成果，是目前重要的發展方向之一。腦神經信號檢測及虛擬現實交互2.腦電信號特征分析④非線性分析方法。該方法基于非線性動力學分析，用于提取腦電的非線性特征。常用的有復雜度分析、Lorentz散點圖、關聯維數D2、Komogrove熠、Lyapunov指數等。⑤多維統計分析方法。該方法與時域、頻域分析方法有本質的區別，其特點是可以同時分析多個通道的腦電信號，有助于腦電信號的噪聲分離，提高腦電信號特征提取的質量。常用的方法有主分量分析(PrincipalComponentAnalysis,PCA)、因子分析(FactorAnalysis,FA)和獨立分量分析(IndependentComponentAnalysis,ICA)等，其中獨立分量分析是20世紀90年代中期發展起來的多維統計分析方法，獨立分量分析在對非高斯信號研究的基礎上，以假設信號各個成分各自獨立為前提,可以對多個信號進行混合后再進行獨立源信號分離，從而消除噪聲信號。獨立分量分析法是現代統計信號分析理論的最新成果，適用于多導腦電信號的統計分析。虛擬現實康復系統

的人機交互設計05虛擬現實人機交互算法設計(1)單模態信號識別對于單模態信號，如圖像、視頻、骨架、肌電信號或腦電信號等，典型的識別方法可分為兩類。一類是基于傳統模式的識別方法；另一類是基于深度學習的端到端識別方法。虛擬現實人機交互算法設計(2)多模態信號識別多模態信號識別與單模態信號識別的不同之處主要在于多模態信號融合，如將動作骨架數據與肌電信號融合，或將肌電信號與腦電信號融合等。多模態信號融合分為特征級融合和決策級融合。特征級融合是指通過提取不同源信號的互補性特征建立特征集后，再根據傳統的機器學習方法進行識別；決策級融合則是在識別方法級別對不同的分類算法進行融合。虛擬現實上肢運動交互控制設計1.上肢建模與虛擬場景構建虛擬上肢共由34個造型節點構成，分為17個骨骼模型（上臂、前臂、手掌、14塊指骨）及17個關節模型（肩關節、肘關節、腕關節、14個手部關節）。圖4-21給出了部分關節坐標系示意圖。根據對人體上肢層次結構的分析，采用多坐標系結合局部坐標系的方法構建虛擬上肢系統。多坐標系是針對同一父坐標系創建的，每個掌指關節以手掌節點為父坐標系組成局部坐標系，其余采用多坐標系層層嵌套。虛擬現實上肢運動交互控制設計虛擬現實上肢運動交互控制設計1.上肢建模與虛擬場景構建在虛擬上肢模型的基礎上，導入人體其他部位模型與虛擬上肢進行裝配，同時將人物模型、桌子模型、椅子模型等模塊導入虛擬場景中。虛擬現實上肢運動交互控制設計1.虛擬現實上肢運動交互控制虛擬上肢的運動是由每個關節節點的旋轉實現的。以V-RealmBuilder2.0平臺為例，節點的rotation域用于設定變換后新坐標系相對原始坐標系進行旋轉的旋轉軸及旋轉角度，它可以由一個四元矢量(x,z)表示。通過rotation域的取值可以定義關節坐標系的旋轉，隨著rotation域值的不斷改變，其各個子節點的坐標系將會發生旋轉，從而可以形成上肢各個部位的不同姿態的變換，完成虛擬上肢的運動。虛擬現實上肢運動交互控制設計在實現運動的實時可視化時，需要對人體運動的姿態變換進行解算，根據各種姿態表示方法之間的換算及坐標變換方法，可以解算出上肢的運動情況，將解算出的結果與三維模型進行對接，得到三維模塊姿態控制需要的參量，可實現實時驅動上肢關節運動。1.虛擬現實上肢運動交互控制虛擬現實上肢運動交互控制設計對于上肢多關節、多自由度的運動生理結構，剛體假設理論把人體上肢等效為由3根剛性連桿組成、連桿與連桿之間通過關節進行連接的多剛體上肢系統，3根剛性連桿分別代表上臂、前臂和手掌。上肢各肢體的運動均視為繞關節的轉動，各方向的轉動軸相交于關節處。由于人體上肢的構成比較復雜，為了較完整地表示人體上肢的運動姿態，假設肩關節、肘關節和腕關節都是三柱面轉動副3R關節。1.虛擬現實上肢運動交互控制虛擬現實上肢運動交互控制設計1.虛擬現實上肢運動交互控制虛擬現實康復訓練的運動代償自適應調整1.肩外展運動下的代償狀態當患者在完成單側的肩關節外展運動時，由于患者運動能力不足，為了完成對目標物體的觸碰，在訓練過程中常伴隨軀體側傾的代償姿勢。因此系統需要實時監測脊柱向量在坐標系下打平面上與地面法向量的角度a（身體側傾角度）。利用Vector3.Project來計算向量在Z軸上的投影，向量本身減去此投影向量則為在XY平面上的向量，再計算得到的向量與向量(0,1,0)之間的角度α。當系統檢測到角度a>15。時，則判定患者當前的體態會影響訓練效果。此時，系統使目標物體的位置根據傾斜角度參數進行調整，以保證患者必須完成規定角度范圍的運動才能觸碰到預設的目標物體。目標物體位置在局部坐標系中的坐標隨a的變化由虛擬現實康復訓練的運動代償自適應調整1.肩外展運動下的代償狀態轉移至虛擬現實康復訓練的運動代償自適應調整2.肩屈曲運動下的代償狀態當患者完成肩關節的屈曲運動時，由于患者運動能力的不足，為了完成對目標物體的觸碰，在訓練過程中常伴隨軀體后傾的代償姿勢。因此系統需要實時監測脊柱向量在"平面上與地面法向量之間的角度乂身體后傾角度)。利用Vector3.Project來計算向量在X軸上的投影，向量本身減去此投影向量則為在XZ平面上的向量，再計算得到的向量與向量(0,1,0)之間的角度y。當系統檢測到7>15°時，標志著患者正處于代償運動狀態，系統自動根據了參數調整目標物體的位置由轉移至虛擬現實康復訓練的運動代償自適應調整2.肩屈曲運動下的代償狀態通過上述兩種代償運動修正方式，系統一方面可以檢測出患者的不正常運動姿態并給予提醒警告，另一方面會自適應地調整目標物體的位置，以保證只有完成相應角度的運動才可觸碰到目標物體，減小甚至消除代償運動給康復訓練效果帶來的負面影響。自適應調整機制的實現體現了虛擬現實康復訓練系統的新“I”特性，即智能性。其調整方式進一步保障了訓練處方對康復患者的有效性，減小外部原因對訓練產生的負面影響，從而改善康復效果。虛擬現實康復原理與應用設計教育部高等學校生物醫學工程類專業教學指導委員會“十四五”規劃教材康復科學與技術系列教材虛擬現實技術的肢體運動康復應用第五章運動康復基本知識01運動康復生物力學基礎人體運動是自然界最復雜的力學過程之一，它是神經、肌肉、骨骼、關節及外在環境條件協同作用的結果。人體運動生物力學旨在闡明人體在外力和內部受控肌力作用下的運動規律，并指導和服務于臨床康復和運動健康。1.骨生物力學特性骨骼最重要的力學特性是其自身的強度和剛度，主要由組成骨骼的骨密質和骨松質等主要成分決定。圖5-1所示為骨密質的應力-應變曲線，從圖中可以看出，在彈性范圍內，載荷引起的形變是可恢復變形，一且超過屈服臨界點，將引起不可恢復的永久變形。剛度是彈性范圍內應力-應變曲線的斜率，又稱為彈性模量。運動康復生物力學基礎2.肌肉生物力學特性普遍接受的骨骼肌的力學模型是由英國著名生理學家希爾提出的三元素模型（見圖5-2）,它由收縮元（代表肌節中的肌動蛋白及肌球蛋白微絲，當肌肉興奮時可產生張力，即主動張力）、并聯彈性元（代表肌纖維膜、肌束膜等結締組織，當肌肉被牽拉時產生彈力，又稱為被動張力）、串聯彈性元（主要代表微絲、橫橋的固有彈性，并與結締組織和肌腱有關，收縮元興奮后使肌肉具有彈性）組成。模型的串聯構成肌肉的長度，模型的并聯構成肌肉的厚度，整個肌肉的力學特性由多個模型串并聯表示。運動康復生物力學基礎2.肌肉生物力學特性當肌肉產生力時，其長度可能出現縮短、伸長、不變三種情況；肌肉收縮的類型也可歸納為向心收縮（長度縮短，肌力大于外部力）、等長收縮（長度不變，肌力等于外部力）和離心收縮（長度變長，肌力小于外部力）。肌肉受力可用力-長度、力-速度、力-時間三種關系曲線進行描述。圖5-3所示為肌肉的力-長度關系曲線示意圖。運動康復生物力學基礎3.關節運動生物力學特性關節是人體骨連接的一種重要生理解剖結構，由關節面、關節囊和關節腔三部分組成。關節運動生物力學就是分析關節的受力及其運動特征。關節是人體運動的樞紐，是傳遞載荷、協助運動的重要器官。關節運動可分解為環節繞3個相互垂直的軸并在3個相互垂直的面上進行的運動。人體由若干關節連接起來的身體環節組成，人體關節運動本質上是運動鏈的運動，即運動鏈的末端效應器完成各種運動。環節：一個環節是相鄰兩個關節中心之間的肢體部分，如大腿、小腿、上臂、前臂等，遠端最后環節是指末端效應器或末端環節，如頭、手、足等。運動康復生物力學基礎3.關節運動生物力學特性②運動副：兩個環節通過一個關節連接起來組成一個運動副，如膝關節將大腿、小腿連接起來形成運動副；肘關節將上臂、前臂連接起來形成運動副。③運動鏈：3個或3個以上環節通過關節連接形成運動鏈。由于人體運動大多數情況下是多關節聯動，因此運動鏈是研究人體運動的基礎，運動鏈可分為開放鏈和閉合鏈。開鏈運動是近端關節固定而遠端關節活動的運動（如步行時的擺動相），閉鏈運動是指肢體遠端關節固定而近端關節活動的運動（如步行時的支撐相）。運動康復生物力學基礎力力是物體之間的相互作用，這種作用可使物體的運動狀態發生變化或使物體產生形變。人體運動生物力學效應可分為外力和內力兩種類型。014.人體運動的基本術語關節力矩力矩是表示力作用于物體時產生轉動效果的物理量。由于人的骨骼系統是一種復雜的杠桿系統，因此人體環節受外力或內力作用時就會產生環節相對關節的轉動或轉動趨勢，造成這種結果的物理量可用關節力矩（或關節轉矩）進行表征。02關節運動自由度關節運動自由度是指一個關節在二維或三維空間可完成的運動數目。如果沒有約束，一個關節在二維空間具有3個自由度，在三維空間具有6個自由度。03運動康復生物力學基礎運動學參數運動學參數是用于描述人體運動特征的物理量，主要包括人體各部分運動的位移、速度、加速度、角速度、角加速度，以及身體及關節的姿位和關節角度等。044.人體運動的基本術語人體慣性參數人體慣性參數是用于與測度人體形態有關的參數，主要包括人體及各部分的質量及其質心位置（也常用重心表示），以及各部分繞3個坐標軸的轉動慣量。05運動軸運動軸的數量和位置決定了關節的運動形式和范圍，根據運動軸的多少，關節運動可分為單軸運動、雙軸運動和三軸運動。06運動康復生物力學基礎運動平面關節在矢狀面的運動為伸、屈運動，圍繞冠狀軸進行；關節在冠狀面的運動為內收、外展運動，圍繞矢狀軸進行；關節在水平面的運動為旋轉運動，圍繞垂直軸進行。074.人體運動的基本術語運動方向屈伸運動是指關節沿冠狀軸運動，導致相關兩骨相互接近、角度減小為屈曲運動，反之為伸展運動；關節沿矢狀軸的運動使骨向正中線移動，稱為內收運動，反之為外展運動；關節環繞垂直軸運動為旋轉運動，由前面向內側旋轉為旋內運動，反之為旋外運動。08關節活動類型①主動活動，作用于關節的肌肉隨意收縮使關節活動；②主動-助力活動，作用于關節的肌肉隨意收縮，外加醫電的助力使關節活動；③被動活動，完全由外力使關節活動。09上、下肢運動康復訓練基本臨床操作規范1.上肢關節運動康復（1）肩關節肩部骨骼主要包括肱骨、鎖骨、肩胛骨等，組成了喙鎖關節、肩肱關節、肩胛胸壁關節、胸鎖關節、肩鎖關節、盂肱關節。上、下肢運動康復訓練基本臨床操作規范1.上肢關節運動康復（1）肩關節上、下肢運動康復訓練基本臨床操作規范1.上肢關節運動康復（2）肘關節肘關節由肱骨遠端與尺骨、槎骨近端構成，包括肱尺關節、肱梯關節、椀尺近端關節。運動康復中的肘關節主動運動的基本動作為屈伸運動（含5°?10°的過伸），而槎尺近端關節與遠端關節協同可以開展前臂旋前和旋后運動。肘關節康復訓練的被動運動包括肘屈伸、前臂旋轉及肘-前臂聯合運動，肘屈伸和前臂旋轉的臨床操作規范如表5-2所示。上、下肢運動康復訓練基本臨床操作規范1.上肢關節運動康復（2）肘關節肘關節由肱骨遠端與尺骨、槎骨近端構成，包括肱尺關節、肱梯關節、椀尺近端關節。運動康復中的肘關節主動運動的基本動作為屈伸運動（含5°?10°的過伸），而槎尺近端關節與遠端關節協同可以開展前臂旋前和旋后運動。肘關節康復訓練的被動運動包括肘屈伸、前臂旋轉及肘-前臂聯合運動，肘屈伸和前臂旋轉的臨床操作規范如表5-2所示。上、下肢運動康復訓練基本臨床操作規范1.上肢關節運動康復（3）手部關節手部骨骼主要由8塊腕骨、5塊掌骨和14塊指骨組成，形成了槎腕關節、腕骨間關節、腕掌關節、掌骨間關節、掌指關節、指骨間關節。腕關節由樓腕關節和腕骨間關節組成。上、下肢運動康復訓練基本臨床操作規范髓關節髓關節由髓臼和股骨頭構成，屬于多軸型球窩關節。髓關節可沿冠狀軸做伸展運動，沿矢狀軸做內收、外展運動、沿垂直軸做旋內、旋外運動。在主動運動中，髓關節運動包括屈髓屈膝、伸髓伸膝、髓外展內收、髓轉動。膝部骨骼有股骨遠端、脛骨近端、腓骨近端及骸骨。膝關節由股骨下端、脛骨上端和馥骨構成，包括脛骨關節、股臏關節、腓骨近端關節。在主動運動中，膝關節可進行屈伸運動，在屈膝時還可進行輕度磨動與環轉。在被動運動中，膝關節和髓關節通常是同時訓練的。012.下肢關節運動康復膝關節02上、下肢運動康復訓練基本臨床操作規范踝及足關節踝部骨骼包括脛骨、腓骨下端與距骨，它們共同組成了下脛腓關節和距小腿關節。踝的主動運動包括：跖屈-背伸，跖屈的同時屈曲足趾，背伸的同時伸展足趾;內翻-外翻，踝內翻的同時屈曲足趾，外翻的同時伸展足趾。足的主動運動主要有背伸、跖屈、內收、外展、內翻、外翻。被動運動包括：踝背伸、距下關節內翻-外翻、跑跖關節旋轉、跖骨間關節活動、跖趾關節屈伸等。032.下肢關節運動康復上、下肢運動康復訓練基本臨床操作規范3.肢體康復功能訓練(1)上肢功能訓練①肩胛帶控制訓練：利用人體自身的體重對肩關節做運動訓練，以矯正肩胛骨后撤、下沉的異常姿勢，同時提高肩胛胸廓關鍵關節的運動功能和肩胛帶的控制能力。②抑制上肢痙攣訓練：利用人體關節限位，可抑制上肢屈肌痙攣，緩解軀干痙攣，改善運動能力，誘發上肢分離運動，同時提高上肢近端控制能力。③上肢分離運動誘發訓練：通過輔助限制誘導患者完成上肢單一關節的運動訓練，可抑制上肢屈肌聯帶運動，誘發、強化上肢分離運動。④上肢目的性運動訓練：通過對物品的轉移放置訓練操作，提高上肢選擇性運動的協調性、穩定性及運動速度。上、下肢運動康復訓練基本臨床操作規范3.肢體康復功能訓練(2)下肢功能訓練①抑制下肢聯帶運動訓練：下肢聯帶運動是由屈肌、伸肌聯帶運動兩種異常運動模式組成的病理性運動模式。②易化下肢分離運動訓練：患者通過自己的能力將下垂在床邊的小腿抬起放回治療臺并維持膝關節的屈曲位再放回床邊，過程須保持踝關節的背屈，雕關節在抬起小腿的過程中完成屈曲、內收、旋內的分離運動，從而可抑制患側下肢聯帶運動,易化下肢分離運動，可作為步行前的準備訓練。③下肢選擇性運動訓練：患者在髓關節保持屈曲位并做外展和內收動作，對于BrunstromW期以上的患者可利用腳靶練習動作，破壞全身聯帶運動，誘發多種運動組合的選擇性運動，提高動作柔韌性、協調性和速度，提高全身綜合運動能力。上、下肢運動康復訓練基本臨床操作規范3.肢體康復功能訓練④下肢分離運動易化訓練：患者健側膝關節呈屈曲位，患側在膝關節伸展狀態下完成屈曲-外展-旋內動作以訓練髓關節的屈曲運動；患者處于俯臥位，在雕關節充分伸展狀態下完成膝關節屈曲動作。⑤患側髓關節伸展位的主動控制訓練：患者健側單腿站立并控制患側下肢膝關節屈曲，之后再控制慢慢放下患足，使足尖于健足后方著地，從而提高患側下肢處于擺動相的控制能力，改善立位平衡功能，誘發雕關節伸展狀態下膝關節屈曲的分離運動并提高軀干側屈肌的控制能力。(2)下肢功能訓練上、下肢運動康復訓練基本臨床操作規范3.肢體康復功能訓練(2)下肢功能訓練⑥患肢下側抗重力控制能力訓練：患者呈坐位，將患側下肢屈曲抬起(髓關節、膝關節均呈90°),后慢慢放回原地，過程中控制髓關節不出現外展和旋外，從而誘發步行時患者先前邁出的基本動作。⑦步行訓練：通過一系列的步行訓練矯正步行時錯誤的運動模式，改善軀干穩定性，誘發髓關節、膝關節和踝關節的分離運動，強化步行基本功，改善平衡功能,提高步行能力，促使下肢肌肉活動從而改善步態并恢復患者的正常步行功能。身體平衡協調與康復1.身體平衡機制平衡在力學上是指物體受到來自各個方向的作用力和反作用力的大小相等而使其維持在一個穩定的狀態。身體平衡在臨床上是指身體所處的一種姿勢狀態，并能在運動或受到外力作用時自動調整并維持姿態的一種能力，具體又分為靜態平衡和動態平衡。靜態平衡是指整個身體或身體的某一部分處于某種特定姿態，如坐、站、臣卜，以及蹲馬步、單腳獨立等；動態平衡又分為自動態平衡和他動態平衡，其中前者是指人體在完成各種自主運動（如由站到坐、由坐到站等姿態轉換）時，能重新建立穩定狀態的能力，而后者是指人體對外界擾動（如推、拉）產生反應并恢復到穩定狀態的能力。當平衡狀態改變時，機體恢復原有平衡或建立新平衡的過程包括反應時間和運動時間。反應時間是指從平衡狀態的改變到出現可見運動的時間，而運動時間是指從出現可見運動到運動完成，建立新平衡的時間。（1）平衡機制的基本概念身體平衡協調與康復（2）平衡的維持機制為了維持平衡，人體重心（CenterofGravity,CoG）必須落在支撐面范圍內。一般認為，保持人體平衡需要感覺輸入、中樞整合、運動控制3個環節參與，前庭系統、視覺調節系統、身體本體感覺系統、大腦平衡反射調節、小腦共濟協調系統及肌群力量在人體平衡功能維持上都發揮著重要作用。①感覺輸入：正常情況下，人體通過視覺、軀體覺、前庭覺的出入來感知身體所處位置及其與地球引力和周圍環境的關系。②中樞整合：3種感覺信息在多級平衡覺神經中樞進行整合加工，并形成運動方案。③運動控制：中樞神經系統在對多種感覺信息進行分析整合后下達運動指令，運動系統以不同的協同運動模式控制身體及某些部位的姿勢變化，以將身體重心調整回到原來的范圍或重新建立新的平衡。1.身體平衡機制身體平衡協調與康復（2）平衡的維持機制1.身體平衡機制當平衡變化時，人體可通過以下3種調節機制來維持或建立新的平衡。①踝調節：當人體站立在一個穩定而且較大的支撐面上，同時受到較小的外界擾動時，身體重心以踝關節為軸進行前后轉動或擺動，調整重心以保持身體的穩定性。②髓調節：當人體站立在較小的支撐面（小于雙足面積）上，受到較大外界擾動時，身體擺動幅度較大；為了減小身體擺動，使重心重新回到雙足范圍內，人體將通過貌關節的屈伸來調整身體重心以維持平衡。③跨步調節：外界擾動過大使身體擺動進一步增加時，重心超出其穩定極限人體啟動跨步調節機制，自動向用力方向快速跨出或跳躍一步，重新建立身體重心支撐點。身體平衡協調與康復2.平衡功能的康復訓練通常，平衡訓練采用循序漸進原則，主要表現在以下方面。①支撐面由大到?。河柧殨r支撐面面積由大逐漸變小，即從最穩定的體位過渡到最不穩定的體位。②重心由低到高：仰臥位-前臂支撐下的俯臥位-肘膝跪位-雙膝跪位-半跪位-坐位-站立位，重心由低到高，逐步增加平衡訓練的難度。③從睜眼到閉眼：視覺對平衡有補償作用，在初始訓練時可在睜眼狀態下進行，當平衡功能改善后，可在閉眼狀態下進行，以增加訓練難度。④從靜態平衡到動態平衡：首先恢復患者保持獨自坐或獨自站的靜態平衡功能，再訓練自動態平衡，最后才是他動態平衡。⑤逐漸增加訓練的復雜性：一般先在穩定的支撐面上進行，而后在活動的支撐面上進行。身體平衡協調與康復2.平衡功能的康復訓練平衡訓練就是幫助患者重新找回重心位置并保持身體穩定的訓練方法，包括坐位平衡訓練和站位平衡訓練兩大類，其中針對平衡反應的訓練是指建立相對于支撐面變化而控制重心的平衡調節反應的訓練，如站立時的踝調節反應和能調節反應、在支撐面變化時的誘發平衡調節反應，以及重心偏移至支撐面以外的跨步反應和保護性伸展反應等。運動學參數驅動的

上肢康復虛擬現實應用設計02上肢康復運動及參數設計1.上肢康復運動任務任務訓練模式的訓練動作包括上肢聯帶運動抑制訓練和上肢分離運動強化訓練，對應于物理治療中肘關節屈曲/伸展、肩關節屈曲/伸展和肩關節外展/內收3個自由度的運動康復動作，即訓練動作I、U、山，旨在有針對性地提高關節靈活性，增加肌力和肌肉耐力。游戲訓練模式的訓練為上肢目的性訓練，對應于作業治療中綜合性的日常動作訓練，即訓練動作W、V、VI,旨在綜合改善各個關節的協調能力和靈活性。表5-5列出了臨床上肢康復訓練方案及參數。上肢康復運動及參數設計1.上肢康復運動任務上肢康復運動及參數設計1.上肢康復運動任務上肢康復運動及參數設計1.上肢康復運動任務上肢康復運動及參數設計1.上肢康復運動任務上肢康復運動及參數設計1.上肢康復運動任務上肢康復運動及參數設計1.上肢康復運動任務上肢康復運動及參數設計2.上肢康復運動參數設計為了計算并設計出虛擬環境中任務與位置信息的具體映射關系，人體模型的肢體長度是必需的計算依據之一。然而，在虛擬場景中對模型的驅動實際上是對骨骼的驅動帶動模型進行運動，因此將關節之間的距離作為模型的肢體長度，具體需要檢測的關節點分布如圖5-12所示。上肢康復運動及參數設計2.上肢康復運動參數設計

上肢康復運動及參數設計2.上肢康復運動參數設計(1)訓練動作Ⅰ確定坐標系原點，利用三角函數，通過計算可以獲得初始體態下患者末端的位置為（當角色的上肢到達初始體態位置后，表示患者已完成到初始體態的轉換并做好開始訓練的準備，此時目標物體出現，因難度不同會使關節運動角度（目標角度）（60°或90°）有所不同，目標物體在局部坐標系中的位置為上肢康復運動及參數設計2.上肢康復運動參數設計(1)訓練動作Ⅰ根據動作的初始位置坐標和目標位置坐標，設計構建動作軌跡引導曲線。曲線的構造方式采用10個小型對象物體形成軌跡虛線。其預設的虛線映射模型關系為上肢康復運動及參數設計2.上肢康復運動參數設計(1)訓練動作Ⅰ在計算獲得以上關鍵位置的局部坐標后，左乘變換矩陣即利用前面公式可得到最終目標位置在全局坐標系中的坐標位置上肢康復運動及參數設計2.上肢康復運動參數設計（2）訓練動作Ⅱ通過三角函數計算可得初始體態下患者的末端在局部坐標系中的位置當患肢到達規定位置后，目標物體出現，具體位置根據目標角度而定同樣，根據動作的初始位置坐標和目標位置坐標，設計構建動作軌跡引導曲線。預設的標準運動曲線映射模型關系為上肢康復運動及參數設計2.上肢康復運動參數設計（3）訓練動作Ⅲ通過計算可得初始體態下患肢的末端位置在局部坐標系中的位置當患肢到達規定位置后，目標物體出現，具體位置同樣根據目標角度而定，即根據動作的初始位置坐標和目標位置坐標，設計構建動作軌跡引導曲線。構建模型映射關系為上肢康復運動及參數設計2.上肢康復運動參數設計(4)訓練動作Ⅳ目標在局部坐標系中的初始位置與訓練動作Ⅰ的初始體態位置相同，設定為，，在計算獲得局部坐標后，左乘轉換矩陣，即可得到目標初始位置全局坐標系中的坐標位置上肢康復運動及參數設計2.上肢康復運動參數設計(4)訓練動作Ⅳ轉移目標點在局部坐標系中的位置為根據動作的初始位置坐標和目標位置坐標，設計構建動作軌跡引導曲線。構建模型映射關系為上肢康復運動及參數設計2.上肢康復運動參數設計（5）訓練動作Ⅴ目標在局部坐標系中的初始位置為，在計算獲得局部坐標后,左乘轉換矩陣，即可得到目標初始位置在全局坐標系中的坐標位置轉移目標點在局部坐標系中的位置為上肢康復運動及參數設計2.上肢康復運動參數設計（5）訓練動作Ⅴ根據動作的初始位置坐標和目標位置坐標，設計構建動作軌跡引導曲線。構建模型映射關系為上肢康復運動及參數設計2.上肢康復運動參數設計（6）訓練動作Ⅵ標在局部坐標系中的初始位置與訓練動作Ⅰ的初始體態位置相同，設定為在計算獲得局部坐標后，左乘轉換矩陣，可得到目標初始位置在全局坐標系中的坐標位置。轉移目標在局部坐標系中的位置為根據動作的初始位置坐標和目標位置坐標，設計構建動作軌跡引導曲線。構建模型映射關系為虛擬角色和場景建模（1）模型參數上臂參考《中國成年人人體尺寸(GB/T10000-1988)》中手臂的長度，具體參數如表5-6所示，將真實人體的上肢尺寸作為制作虛擬上肢的參考依據之一根據模型制作的比例要求及真實人體的上肢尺寸，定義了模型在制作過程中各部分的具體長度，如表5-7所示。1.虛擬角色建立虛擬角色和場景建模（2）角色模型制作角色模型參照Unity3D官方的模型任務Unitychan進行構型制作。模型構建的順序從粗模型構建開始，在模型構建完成后，為其制作匹配的貼圖并設置材質附著于模型之上。為了使虛擬模型順利參與到各種虛擬環境的交互中，應根據模型的尺寸制作碰撞體。1.虛擬角色建立虛擬角色和場景建模1.虛擬角色建立①模型構建。為了從整體上把控角色模型的比例，從頭部開始制作粗模型，然后依次是頸部-胸部-腰部-腹部-腿部-上肢，如表5-8所示。虛擬角色和場景建模1.虛擬角色建立②模型導入與關節限制設置。3dsMax為本書用于制作模型的軟件環境,虛擬現實場景的實現環境是Unity3D,因此需要將制作好的模型導入Unity3D中進行操作，具體導入參數及其設置如表5-9所示。虛擬角色和場景建模1.虛擬角色建立Unity3D環境中的Mecanim系統使用肌肉來限制不同骨骼的運動范圍，一旦Avatar配置完成，Mecanim就能解析其骨骼結構，進而可以在Muscles選項卡中調節相關參數。用戶可非常容易地調節角色的運動范圍，確保其看起來真實自然。用戶可以在視圖上方使用預先定義的變形方法對多塊骨骼同時進行調整，也可對單塊骨骼進行調整。在Muscles選項卡中可直接對關節角度參數設置限制范圍，運動范圍限制的參數設置參照表5-10中的功能活動度來進行設置。虛擬角色和場景建模1.虛擬角色建立③人體模型碰撞體的制作。角色的碰撞體是針對產生交互的主要軀體部分而設計的。根據上肢模型形狀，選擇CapsuleCollider（膠囊碰撞體）這種形狀的碰撞體分別包裹在角色模型的上臂和前臂上。膠囊碰撞體由一個圓柱體和與其相連的兩個半球體組成，是一個膠囊形狀的基本碰撞體，其半徑和高度都可以單獨調節，既可用在角色控制器中，也可與其他不規則形狀的碰撞結合使用，其碰撞體參數設置如表5-11所示。虛擬角色和場景建模1.虛擬角色建立③人體模型碰撞體的制作。經過以上步驟實現對模型本身的搭建、貼圖的制作及細節的修改，最終在虛擬場景中的角色模型如圖5-13所示。角色模型將作為用戶在虛擬場景中的化身去完成一系列的訓練任務。虛擬角色和場景建模2.虛擬場景設計虛擬角色和場景建模2.虛擬場景設計物體模型的構建與人體模型相比，貨架、收銀臺、頂燈、貨物類物品的形狀更規則，制作起來難度也小得多。通過構建多邊形，再對模型進行可編輯多邊形轉換后，做少量修改便可將相應物體模型制作完成。01貼圖制作對于貨架、頂燈、購物車、收銀臺類環境模型，在材質球中構建黑色金屬的材質附給模型；對于交互模型，先對模型進行UVW的模型展開，再對展開后的UVW模板進行繪制；一些規則的物品，如盒裝牛奶、盒裝餅干等，可直接通過PhotoShop軟件，配合包裝盒圖片進行貼圖制作。02虛擬角色和場景建模2.虛擬場景設計物體模型碰撞體的制作交互模型的碰撞體是規則的幾何體形狀碰撞體，采用BoxCollider來構建物體模型的碰撞體。盒碰撞體是一個立方體外形的基本碰撞體。該碰撞體可以調整為不同大小的長方體，可用作門、墻及盒裝貨物等。將碰撞體的IsTrigger選項勾選，其Size參數設置如表5-13所示，物體模型碰撞體需將模型本身完全覆蓋，因此設置參數應使碰撞體大于模型。03虛擬角色和場景建模2.虛擬場景設計物體模型碰撞體的制作為物品模型碰撞體添加剛體組件，剛體的構建能讓虛擬場景中的對象被物理引擎所控制，剛體參數設置如表5-14所示，它能通過受到推力和扭力來實現真實的物理表現效果，這些效果都是基于NVIDIA的PhysX物理引擎來實現的。物理引擎的引入可提高用戶的浸入感，改善訓練效果。03虛擬角色和場景建模2.虛擬場景設計物體模型碰撞體的制作03運動參數檢測與人機交互設計1.基于Kinect的運動參數檢測前述上肢康復運動任務簡化為肩、肘、腕關節隨時間變化的空間運動軌跡，因此追蹤記錄上肢關節的空間位置即可實現對虛擬環境角色的上肢運動控制。這里選用廣泛使用的Kinect體感運動檢測技術，骨骼追蹤作為Kinect的核心技術之一，是實現體感交互功能的重要基礎，它可以準確地標定人體的25個關節點。Kinect骨骼跟蹤算法通過處理深度圖像信息來識別人體關節點的具體位置。該算法可以通過深度圖像中的像素點來評估和判斷人體位置，再通過決策樹分類器來判斷像素點在對應身體部分的可能性，進而選拔出最大概率區域，緊接著通過計算分類器來判斷關節的相對位置作為身體的特定部位。最后，根據用戶的位置信息對骨架進行標定，從而實現對人體25個關節點坐標的實時追蹤。關節點的實時位置坐標將作為用戶控制虛擬角色的驅動器。運動參數檢測與人機交互設計1.基于Kinect的運動參數檢測在Unity3D環境中，通常通過驅動骨骼來完成對模型的控制，因此需要為制作的人物模型添加合理的骨骼構造。Unity3D現有的動畫制作大都依靠Mecanim系統其基本方法就是建立系統簡化骨架結構與用戶實際骨架結構的映射關系，即Avatar。首先，在模型(含骨骼)的Animation類型中選擇Humanoid，然后Mecanim系統會嘗試將用戶提供的骨架結構與系統內嵌的骨架結構進行匹配，可選擇在Avatar面板中的Mapping參數項下使用Automap(自動匹配原始姿態)創建一個骨骼映射。Kinect骨骼跟蹤算法通過處理深度圖像信息來識別人體關節點的具體位置。該算法可虛擬角色的模型需要與簡化骨骼數量相同。在Unity3D環境中，為角色模型附加角色控制器，并構建Kinect的相關控制插件，對腳本參數進行設置，便可實現從外部對虛擬環境中的人物角色進行鏡像化的體感控制。運動參數檢測與人機交互設計1.基于Kinect的運動參數檢測采集數據的最終目的是實現體感控制，僅有關節點的位置信息是不夠的，還需要對數據進行分析和計算，從而得到更多的有用信息。通過關節點位置來構造“骨骼向量”,設骨骼向量起點關節點的坐標為向量終點關節點的坐標為則對應的向量為通過提取Shoulder-Right與Elbow-Right兩個關節點坐標進行計算，從而構造出上臂向量；通過Elbow-Right與Wrist-Right關節點構造出前臂向量；通過Spine-Base與Spine-Shoulder關節點構造出脊柱向量。利用Vector3類中的Angle函數直接根據兩個向量計算求出關節角度，例如，前臂向量vecl和上臂向量vec2可直接通過anglesVector3.Angle（vecl,vec2）求得肘關節的彎曲角度，利用脊柱向量vec3與上臂向量vec2可計算得出肩關節的角度。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（1）訓練初始動作姿態的監測①起始姿態引導線。針對訓練動作I、IV、V和訓練方案的初始姿態為肘關節保持伸直，肩關節屈曲90°。因此，目標引導的形式以整條手臂位置作為標準，從肩部位置開始到上肢末端位置通過預設黃色小立方體來構建引導線。建立好預設的黃色小立方體，將其轉換為Prefab預設體并保存到項目資源之中。利用Instantiate函數在Unity3D環境中進行實例化，使該交互物體出現在虛擬場景中的角色模型上肢在起始姿態下的手臂位置。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（1）訓練初始動作姿態的監測①起始姿態引導線。利用矩陣變換，推導出兩個點在全局坐標系中的具體位置引導線需要由多個黃色小立方體共同構成，其位置只在Z軸方向上發生改變。利用一個循環體，在改變Z軸坐標值的過程中多次產生Prefab預設體即可完成初始體態預設線的設置。為黃色小立方體設置碰撞體，并將其標簽（Tag）設置為LineL利用OnTriggerEnter函數檢測上肢與立方體的碰撞，當物理引擎檢測到碰撞后，進一步檢測碰撞體的Tag是否為Linel,若條件成立，則黃色碰撞體消失，當所有的預設體消失后，表示患者已處于訓練動作的起始姿態，此時運動軌跡曲線和目標物體出現并引導患者進行運動訓練。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測

運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（2）運動軌跡引導軌跡曲線采用的預設體為藍色球體，采用Instantiate函數在Unity3D環境中對其進行實例化。以訓練動作I為例，根據前文所構建的訓練任務坐標映射模型，利用循環語句在上肢末端起始位置和目標位置之間構建由多個藍色小球聯合組成的軌跡引導曲線。將藍色球體的Prefab預設體的Tag設置為Line2，并為人體模型添加碰撞檢測腳本，當上肢碰撞體與藍色軌跡曲線發生碰撞后，軌跡曲線消失。當患者沿軌跡曲線運動上肢使軌跡碰撞體消失后，上肢末端也就到達了目標位置，從而達到引導和規范運動的目的。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（3）動作完成情況判定①時間限制。在不同的難度分級中，根據時間要求，先定義單精度浮點數Timer的數值，在主函數中利用StartCoroutine開啟一個協程，在開啟的協程的接口中開始計時。當Timer變量從規定值開始，協程暫停1s后再執行變量減一的操作，從而實現倒計時器的功能，對單次訓練動作的時間進行限制。②關節角度。任務訓練模式是以觸碰預設目標物體為導向的，當患者根據引導使上肢到達規定的初始位置后，目標物體根據預設的映射模型出現在相應的位置。系統的物理引擎開始不間斷地監測碰撞信息，系統的數據處理模塊也實時監測關鍵關節的角度數據。當患者根據視覺反饋控制人體模型觸碰到目標物體時，達成訓練的一級指標要求，即在虛擬場景中實現物理碰撞；同時，系統實時采集并計算關節角度數據，并與該難度等級下的目標角度進行比對以判斷是否達成訓練的二級指標要求，即關節運動角度是否達標。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（3）動作完成情況判定③碰撞檢測。碰撞體的檢測主要是通過Unity3D的物理引擎來模擬實現的，而碰撞體發生碰撞后產生的具體效果需要通過編輯的腳本來設置。為交互的對象添加不同的標簽(Tag),即在對象的Inspector屬性欄中為不同的交互對象設置標簽，設置情況如表5-16所示。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（3）動作完成情況判定③碰撞檢測。為上肢碰撞體編輯碰撞檢測腳本，利用OnTriggerEnter函數檢測上肢與交互對象的碰撞，當物理引擎檢測到碰撞后，進入函數內部開始檢測碰撞體的標簽，從而識別交互的具體對象，并為不同對象編輯不同的效果腳本，進而在虛擬場景中實現不同的交互結果。表5-17所示為不同函數與交互效果。運動參數檢測與人機交互設計2.康復訓練過程的跟蹤監測（3）動作完成情況判定④交互檢測。力觸覺反饋與腕關節運動虛擬康復應用設計03腕部運動康復任務設計腕關節康復訓練的力觸覺反饋與OpenGL庫相結合，Chai3D能夠在虛擬現實環境中創建和可視化三維虛擬對象和工具。交互工具是兩個商業硬件設備，包括觸覺反饋設備和虛擬現實頭盔。觸覺反饋裝置(Omega.7,ForceDimensionInc.,Switzerland)為用戶提供3個自由度的力反饋和握力反饋(見圖5-20)。觸覺設備允許的操作空間是一個直徑為160mm,高為110mm的圓柱形，末端執行器的旋轉范圍為240°><1400*180。下肢康復虛擬現實應用設計04人體下肢在靜止站立、姿態轉換、行走過程中同時承擔了支撐自身重量并維持身體平衡等功能，下肢康復訓練在臨床康復中占據著非常重要的地位。行走是下肢承擔的主要生理功能。在下肢行走康復任務設計中，需要重點模擬人體髓關節和膝關節的運動方式和運動范圍，并結合踝關節的相對運動，使下肢各關節協調運動，逐步使患者恢復正常的行走功能。在下肢行走功能康復系統設計中，還需要充分考慮臨床應用需求。針對行走能力訓練功能，臨床上特別關注直線訓練和轉彎訓練，進一步可衍生出左轉彎訓練、右轉彎訓練、直線到轉彎、轉彎到直線等多種行走方式，訓練任務可以是其中的一種，也可以是多種組合。模擬騎行的下肢康復虛擬現實系統設計1.肌電信號檢測原理踏車是一種廣泛使用的下肢康復訓練器械，騎行訓練模式屬于主動訓練模式的一種，在模擬騎行姿態的同時，系統通過傳感器感知并獲取患者的運動意圖，然后按預設的控制策略得出相應的末端運轉速度進而幫助患者完成訓練動作。另一方面，虛擬現實技術可以為患者呈現豐富多彩的虛擬場景，踏車系統與虛擬現實系統的結合，可以更有效地激發患者康復訓練的主動性和參與感，以及在虛擬場景中實現騎行目標的成就感，進一步提升康復療效，騎行訓練模式與虛擬軟件系統之間的交互信息反饋是“人-機-虛擬場景”融合的重要保證。模擬騎行的下肢康復虛擬現實系統設計1.肌電信號檢測原理①動作實時同步機制：患者在主動訓練時，將通過騎行訓練模式采集的運動信息發送給虛擬軟件端，用于控制虛擬人物模型的運動，從而實現患者下肢與虛擬下肢之間的運動同步。②路況反饋機制：該虛擬游戲的路況主要分為平坦小路、泥濘小路、上坡路及下坡路4種。模擬騎行的下肢康復虛擬現實系統設計1.基于足踝作用力檢測的下肢康復虛擬現實系統設計正常的踝關節運動能夠實現足部和踝關節的背伸/跖屈、內翻/外翻、內收/外展等基本運動，踝關節活動范圍（或關節活動度，ROM）參數如表5-18所示。模擬騎行的下肢康復虛擬現實系統設計1.基于足踝作用力檢測的下肢康復虛擬現實系統設計根據康復醫學的基本任務和踝關節的解剖特點，踝關節康復的基本目標如下：①恢復和增強踝關節自如的收縮和舒張功能；②恢復正常的關節活動度，恢復和增強支配關節活動度的肌肉力量；③恢復腳部正常感覺，增強人體本體感覺，提高關節協調性、穩定性，防止產生后遺癥。虛擬現實交互下的平衡功能康復應用設計05虛擬現實平衡康復原理由于腦神經具有可塑性，即自身結構和功能可以隨著內外環境的變化而不斷修飾和重組，這也為腦卒中等神經損傷的功能康復提供了可能。中樞神經系統的可塑性依賴于傳入刺激的存在，及時有效的功能訓練有助于誘發來自皮膚、關節深淺感受器的大量信息被激活、調控初級感覺運動皮質和次級運動皮質功能。研究表明，腦卒中平衡功能障礙的改善可以通過輸入正常的平衡功能運動模式來影響輸出，促進正常平衡功能模式的形成，完成大腦皮層功能區“模式整合”，從而改善空間定向能力和動作的協調性；同時，肌肉和關節的運動反過來又向中樞神經系統提供了大量的淺、深感覺沖動的輸入，激活中樞神經，這樣就能有效地使患者的肢體運動盡可能協調和自然，達到最大限度恢復平衡功能的目的。虛擬現實平衡康復原理虛擬現實游戲的任務導向性訓練任務導向性訓練(Task-orientedTraining,TOT)是以個體、任務與環境間的相互作用為基礎的，在完成任務的過程中，患者不斷得到成功和失敗的反饋，大腦對獲得的信息進行整合和重組，促使運動模式不斷調整，形成優化的神經網絡和運動程序，使患者適應環境改變的同時，學會解決目標任務的方法，從而提高運動平衡功能。虛擬現實互動游戲可以為患者設