3虛擬現實系統的相關技術

現階段計算機的運行速度達不到虛擬現實系統所需要的情況下，相關技術就顯得尤為重要。要生成一個三維場景，并使場景圖像能隨視角不同實時地顯示變化，只有設備是遠遠不夠的，還必須有相應的技術理論相支持。13虛擬現實系統的相關技術現階段計算機的運行速度3.1立體顯示技術人類從客觀世界獲得的信息的80%以上來自視覺。在視覺顯示技術中，實現立體顯示技術成為虛擬現實的一種極重要的支撐技術。人的左右眼有大約6-8cm的距離，由于這種視差，使得人的大腦能將兩眼得到的細微差別圖像進行融合而產生有空間感的立體物體。立體圖的產生基本過程是對同一場景分別產生兩個相應于左右雙眼的不同圖像，讓它們之間具有一定的視差。在觀察時借助立體眼鏡等設備，使左右雙眼只能看到與之相應的圖像，視線相交于三維空間中的一點上，從而恢復出三維深度信息。常見有彩色眼鏡法、偏振光眼鏡法、串行立體顯示法等。23.1立體顯示技術人類從客觀世界獲得的信息的80%以上來自3.2環境建模技術虛擬環境建模的目的在于獲取實際三維環境的三維數據，并根據其應用的需要，利用獲取的三維數據建立相應的虛擬環境模型。只有設計出反映研究對象的真實有效的模型，虛擬現實系統才有可信度。33.2環境建模技術虛擬環境建模的目的在于獲取實際三維環境的3.2環境建模技術虛擬現實系統中的虛擬環境，可能有下列幾種情況：（1）模仿真實世界中的環境（系統仿真）（2）人類主觀構造的環境（3）模仿真實世界中的人類不可見的環境（科學可視化）43.2環境建模技術虛擬現實系統中的虛擬環境，可能有下列幾種3.2環境建模技術虛擬現實系統中的環境建模技術與其他圖形建模技術相比，主要有以下三個特點：（1）虛擬環境中可以有很多的物體，往往需要建造大量完全不同類型的物體模型。（2）虛擬環境中有些物體有自己的行為，而一般其他圖形建模系統中只構造靜態的物體，或是物體簡單的運動。（3）虛擬環境中的物體必須有良好的操縱性能，當用戶與物體進行交互時，物體必須以某種適當的方式來做出相應的反應。53.2環境建模技術虛擬現實系統中的環境建模技術與其他圖形建3.2環境建模技術基于目前的技術水平，常見的是三維視覺建模和三維聽覺建模。而在當前應用中，環境建模一般主要是三維視覺建模。三維視覺建模可分為幾何建模、物理建模、行為建模。63.2環境建模技術基于目前的技術水平，常見的是三維視覺建模3.2.1幾何建模技術傳統意義上的虛擬場景基本上都是基于幾何的，就是用數學意義上的曲線、曲面等數學模型預先定義好虛擬場景的幾何輪廓，再采取紋理映射、光照等數學模型加以渲染。主要研究對象是對物體幾何信息的表示與處理。它涉及幾何信息數據結構及相關構造的表示與操縱數據結構的算法建模方法。73.2.1幾何建模技術傳統意義上的虛擬場景基本上都是基于幾何3.2.1幾何建模技術幾何模型一般可分為面模型與體模型：面模型用面片來表現對象的表面，其基本幾何元素多為三角形；建模與繪制技術相對成熟，處理方便，但難以進行整體形式的操作（如拉伸、壓縮等），多用于剛體對象的幾何建模。體模型用體素來描述對象的結構，其基本幾何元素多為四面體。擁有對象的內部信息，可以很好地表達模型在外力作用下的體特征（如變形、分裂等），但計算的時間與空間復雜度也相應增加，多用于軟體對象的幾何建模。83.2.1幾何建模技術幾何模型一般可分為面模型與體模型：83.2.1幾何建模技術幾何建模通常采用以下兩種方法：（1）人工的幾何建模方法利用虛擬現實工具軟件來進行建模，如OpenGL、Java3D、VRML等。這類方法主要針對虛擬現實技術的特點而編寫，編程容易，效率較高。直接從某些商品圖形庫中選購所需的幾何圖形，可以避免直接用多邊形拼構某個對象外形時繁瑣的過程，也可節省大量的時間。利用常用建模軟件來進行建模。如AutoCAD、3DS等，用戶可交互式地創建某個對象的幾何圖形，但并非所有要求的數據都以虛擬現實要求的形式提供，實際使用時必須要通過相關程序或手工導入。自制的工具軟件。93.2.1幾何建模技術幾何建模通常采用以下兩種方法：93.2.1幾何建模技術（2）自動的幾何建模方法采用三維掃描儀對實際物體機型三維掃描。基于圖片的建模技術。對建模對象實地拍攝兩張以上的照片，根據透視學和攝影測量學原理，根據標志和定位對象上的關鍵控制點，建立三維網格模型。103.2.1幾何建模技術（2）自動的幾何建模方法103.2.2物理建模技術幾何建模的下一步發展是物理建模，也就是在建模時考慮對象的物理屬性。虛擬現實系統的物理建模是基于物理方法的建模，往往采用微分方程來描述。典型的物理建模方法有分形技術和粒子系統。113.2.2物理建模技術幾何建模的下一步發展是物理建模，也就是3.2.3行為建模技術行為建模主要研究的是物體運動的處理和對其行為的描述。行為建模就是在創建模型的同時，不僅賦予模型外形、質感等表現特征，同時也賦予模型物理屬性和“與生俱來”的行為與反應能力，并且服從一定的客觀規律。123.2.3行為建模技術行為建模主要研究的是物體運動的處理和對3.2.3行為建模技術在虛擬環境行為建模中，建模方法主要有基于數值插值的運動學方法與基于物理的動力學仿真方法。（1）運動學方法：通過幾何變換（平移和旋轉等）來描述運動。（2）動力學仿真：運用物理定律而非幾何變換來描述物體的行為，在該方法中，運動是通過物體的質量和慣性、力和力矩以及其他的物理作用計算出來的。133.2.3行為建模技術在虛擬環境行為建模中，建模方法主要有基3.3真實感實時繪制技術要實現虛擬現實系統中的虛擬世界，僅有立體顯示技術是遠遠不夠的，虛擬現實中還有真實感與實時性的要求，也就是說虛擬世界的產生不僅需要真實的立體感，而且虛擬世界還必須實時生成，這就必須要采用真實感實時繪制技術。143.3真實感實時繪制技術要實現虛擬現實系統中的虛擬世界，僅3.3.1真實感繪制技術真實感繪制：在計算機中重現真實世界場景的過程。其主要任務是要模擬真實物體的物理屬性，即物體的形狀、光學性質、表面紋理和粗糙程度，以及物體間的相對位置、遮擋關系等等。實時繪制：當用戶視點發生變化時，他所看到的場景需要及時更新，這就要保證圖形顯示更新的速度必須跟上視點的改變速度。153.3.1真實感繪制技術真實感繪制：在計算機中重現真實世界3.3.1真實感繪制技術為了提高顯示的逼真度，加強真實性，常采用下列方法：（1）紋理映射：紋理映射是將紋理圖像貼在簡單物體的幾何表面，以近似描述物體表面的紋理細節，加強真實性。實質上，它用二維的平面圖像代替三維模型的局部。（2）環境映射：采用紋理圖像來表示物體表面的鏡面反射和規則透視效果。（3）反走樣：走樣是由圖像的像素性質造成的失真現象。反走樣方法的實質是提高像素的密度。163.3.1真實感繪制技術為了提高顯示的逼真度，加強真實性，3.3.2基于幾何圖形的實時繪制技術傳統的虛擬場景基本上都是基于幾何的，就是用數學意義上的曲線、曲面等數學模型預先定義好虛擬場景的幾何輪廓，再采用紋理映射、光照等數學模型加以渲染。大多數虛擬現實系統的主要部分是構造一個虛擬環境，并從不同的方向進行漫游。要達到這個目標，首先是構造幾何模型，其次模擬虛擬攝像機在六個自由度運動，并得到相應的輸出畫面。173.3.2基于幾何圖形的實時繪制技術傳統的虛擬場景基本上都3.3.2基于幾何圖形的實時繪制技術除了在硬件方面采用高性能的計算機，提高計算機的運行速度以提高圖形顯示能力外，還可以降低場景的復雜度，即降低圖形系統需處理的多邊形數目。有下面幾種用來降低場景復雜度的方法：（1）預測計算：根據各種運動的方向、速率和加速度等運動規律，可在下一幀畫面繪制之前用預測、外推法的方法推算出手的跟蹤系統及其他設備的輸入，從而減少由輸入設備所帶有的延遲。（2）脫機計算：在實際應用中有必要盡可能將一些可預先計算好的數據進行預先計算并存儲在系統中，這樣可加快需要運行時的速度。183.3.2基于幾何圖形的實時繪制技術除了在硬件方面采用高性3.3.2基于幾何圖形的實時繪制技術（3）3D剪切：將一個復雜的場景劃分成若干個子場景，系統針對可視空間剪切。虛擬環境在可視空間以外的部分被剪掉，這樣就能有效地減少在某一時刻所需要顯示的多邊形數目，以減少計算工作量，從而有效降低場景的復雜度。（4）可見消隱：系統僅顯示用戶當前能“看見”的場景，當用戶僅能看到整個場景很小部分時，由于系統僅顯示相應場景，可大大減少所需顯示的多邊形的數目。193.3.2基于幾何圖形的實時繪制技術（3）3D剪切：將一個3.3.2基于幾何圖形的實時繪制技術（5）細節層次模型(LevelofDetail,LOD)：首先對同一個場景或場景中的物體，使用具有不同細節的描述方法得到的一組模型。在實時繪制時，對場景中不同的物體或物體的不同部分，采用不同的細節描述方法，對于虛擬環境中的一個物體，同時建立幾個具有不同細節水平的幾何模型。LOD模型是一種全新的模型表示方法，改變了傳統圖形繪制中的“圖像質量越精細越好”的觀點，而是依據用戶視點的主方向、視線在景物表面的停留時間、景物離視點的遠近和景物在畫面上投影區域的大小等因素來決定景物應選擇的細節層次，以達到實時顯示圖形的目的。通過對場景中每個圖形對象的重要性進行分析，使得最重要的圖形對象進行較高質量的繪制，而不重要的圖形對象采用較低質量的繪制，在保證實時圖形顯示的前提下，最大程度地提高視覺效果。203.3.2基于幾何圖形的實時繪制技術（5）細節層次模型(L21213.3.3基于圖像的實時繪制技術當前真實感圖形實時繪制的其中一個熱點問題就是基于圖像的繪制(IBR,ImageBasedRendering)。IBR完全摒棄傳統的先建模、后確定光源的繪制方法，它直接從一系列已知的圖像中生成未知視角的圖像。基于圖像的繪制技術是基于一些預先生成的場景畫面，對接近于視點或視線方向的畫面進行變換、插值與變形，從而快速得到當前視點處的場景畫面。223.3.3基于圖像的實時繪制技術當前真實感圖形實時繪制的其3.3.3基于圖像的實時繪制技術與基于幾何的傳統繪制技術相比，基于圖像的實時繪制技術的優勢在于：（1）計算量適中，對計算機的資源要求不高。（2）作為已知的源圖像既可以是計算機生成的，也可以是用相機從真實環境中捕獲，甚至是兩者混合生成，因此可以反映更加豐富的明暗、顏色、紋理等信息。（3）圖像繪制技術與所繪制的場景復雜性無關，交互顯示的開銷僅與所要生成畫面的分辨率有關，因此能用于表現非常復雜的場景。233.3.3基于圖像的實時繪制技術與基于幾何的傳統繪制技術相3.3.3基于圖像的實時繪制技術目前基于圖像的繪制的相關技術主要有以下兩種：（1）全景技術：全景技術是指在一個場景中選擇一個觀察點，用相機或攝像機每旋轉一下角度拍攝得到一組照片，再采用各種工具軟件拼接成一個全景圖像，它所形成的數據較小，對計算機要求低，適用于桌面型虛擬現實系統中，建模速度快，但一般一個場景只有一個觀察點，因此交互性較差。（2）圖像的插值及視圖變換技術：根據在不同觀察點所拍攝的圖像，交互地給出或自動得到相鄰兩個圖像之間對應點，采用插值或視圖變換的方法求出對應于其他點的圖像，生成新的視圖，根據這個原理可實現多點漫游。243.3.3基于圖像的實時繪制技術目前基于圖像的繪制的相關技3.4三維虛擬聲音的實現技術虛擬現實系統中的三維聲音，使聽者能感覺到聲音是來自圍繞聽者雙耳的一個球形中的任何地方。因此把在虛擬場景中能使用戶準確地判斷出聲源的精確位置、符合人們在真實境界中聽覺方式的聲音系統稱為三維虛擬聲音。253.4三維虛擬聲音的實現技術虛擬現實系統中的三維聲音，使聽3.4.1三維虛擬聲音的作用聲音在虛擬現實系統中的作用，主要有以下幾點：（1）聲音是用戶和虛擬環境的另一種交互方法，人們可以通過語音與虛擬世界進行雙向交流。（2）數據驅動的聲音能傳遞對象的屬性信息。（3）增強空間信息，尤其是當空間超出了視域范圍。263.4.1三維虛擬聲音的作用聲音在虛擬現實系統中的作用，主3.4.2三維虛擬聲音的特征在三維虛擬聲音系統最核心的技術是三維虛擬聲音定位技術，它的特征主要有：（1）全向三維定位特征：在三維虛擬空間中把實際聲音信號定位到特定虛擬專用源的能力。（2）三維實時跟蹤特性：在三維虛擬空間中實時跟蹤虛擬聲源位置變化或景象變化的能力。（3）沉浸感與交互性：沉浸感是指加入三維虛擬聲音后，能使用戶產生身臨其境的感覺，有助于增強臨場效果。而三維聲音的交互特性則是指隨用戶的運動而產生的臨場反應和實時響應的能力。273.4.2三維虛擬聲音的特征在三維虛擬3.4.3語音識別技術與虛擬世界進行語音交互是實現虛擬現實系統中一個高級目標，語音技術在虛擬現實技術中的關鍵技術是語音識別技術和語音合成技術。語音識別技術(ASR,AutomaticSpeechRecognition)：將人說話的語音信號轉換為可被計算機程序所識別的文字信息，從而識別說話人的語音指令以及文字內容的技術。包括：參數提取、參考模式建立、模式識別等過程。283.4.3語音識別技術與虛擬世界進行語音交互是實現虛擬現實3.4.4語音合成技術語音合成技術（TTS,TesttoSpeech）：用人工的方法生成語音的技術，當計算機合成語音時，如何能做到聽話人能理解其意圖并感知其情感，一般對“語音”的要求是清晰、可聽懂、自然、具有表現力。實現語音輸出有兩種方法：（1）錄音/重放：首先要把模擬語音信號轉換成數字序列，編碼后暫存于存儲設備中（錄音），需要時再經解碼，重建聲音信號（重放）。（2）文-語轉換：把計算機內的文本轉換成連續自然的語聲流。應預先建立語音參數數據庫、發音規則庫等。需要輸出語音時，系統按需求先合成語音單元，再按語音學規則或語言學規則連接成自然的語流。293.4.4語音合成技術語音合成技術（TTS,Testt3.5自然交互與傳感技術人機交互界面經歷以下幾個發展階段：（1）20實際40年代到70年代，人機交互采用的是命令行方式（CLI）。（2）到20世紀80年代初，出現了圖形用戶界面（GUI），GUI的廣泛流行將人機交互推向圖形用戶界面的新階段。（3）到20世紀90年代初，多媒體界面成為流行的交互方式，它在界面信息的表現方式上進行了改進，使用了多種媒體。同時，界面輸出也開始轉為動態、二維圖形/圖像及其他多媒體信息的方式。303.5自然交互與傳感技術人機交互界面經歷以下幾個發展階段：3.5自然交互與傳感技術作為新一代的人機交互系統，虛擬現實技術與傳統交互技術的區別：（1）自然交互（2）多通道（3）高“帶寬”（4）非精確交互技術313.5自然交互與傳感技術作為新一代的人機交互系統，虛擬現實3.5自然交互與傳感技術在虛擬現實領域中較為常用的交互技術有手勢識別、面部表情的識別以及眼動跟蹤等。（1）手勢識別

手勢識別系統的輸入設備與主要分為基于數據手套的識別和基于視覺（圖像）的手語識別系統兩種。

基于數據手套的手勢識別系統，就是利用數據手套和位置跟蹤器來捕捉手勢在空間運動的軌跡和時序信息，對較為復雜的手的動作進行檢測，包括手的位置、方向和手指彎曲度等，并可根據這些信息對手勢進行分析。基于視覺的手勢識別是從視覺通道獲得信號，通常采用攝像機采集手勢信息，由攝像機連續拍下手部的運動圖像后，先采用輪廓的辦法識別出手上的每一個手指，進而再用邊界特征識別的方法區分出一個較小的、集中的各種手勢。手勢識別技術主要有：模板匹配、人工神經網絡和統計分析技術。323.5自然交互與傳感技術在虛擬現實領域中較為常用的交互技術3.5自然交互與傳感技術（2）面部表情識別人可以通過臉部的表情表達自己的各種情緒，傳遞必要的信息。人臉圖像的分割、主要特征（如眼睛、鼻子等）定位以及識別是這個技術的主要難點。一般人臉檢測問題可以描述為：給定一副靜止圖像或一段動態圖像序列，從未知的圖像背景中分割、提取并確認可能存在的人臉，如果檢測到人臉，提取人臉特征。在某些可以控制拍攝條件的場合，將人臉限定在標尺內，此時人臉的檢測與定位相對容易。在另一些情況下，人臉在圖像中的位置預先是未知的，這時人臉的檢測與定位將受以下因素的影響：人臉在圖像中的位置、角度和不固定尺度以及光照的影響；發型、眼鏡、胡須以及人臉的表情變化等；圖像中的噪聲等。333.5自然交互與傳感技術（2）面部表情識別333.5自然交互與傳感技術人臉檢測的基本思想是建立人臉模型，比較所有可能的待檢測區域與人臉模型的匹配程度，從而得到可能存在人臉的區域。根據對人臉知識的利用方法，可以將人臉檢測方法分為兩大類：基于特征的人臉檢測方法和基于圖像的人臉檢測方法。①基于特征的人臉檢測，直接利用人臉信息，比如人臉膚色、人臉的幾何結構等。包括輪廓規則；器官分布規則；膚色、紋理規則；對稱性規則；運動規則。②基于圖像的人臉檢測方法，看作一般的模式識別問題。包括神經網絡方法；特征臉方法；模板匹配方法。343.5自然交互與傳感技術人臉檢測的基3.5自然交互與傳感技術（3）眼動跟蹤人們可能經常在不轉動頭部的情況下，僅僅通過移動視線來觀察一定范圍內的環境或物體。為了模擬人眼的功能，在虛擬現實系統中引入眼動跟蹤技術。眼動跟蹤技術的基本工作原理是利用圖像處理技術，使用能鎖定眼睛的特殊攝像機。通過攝入從人的眼角膜和瞳孔反射的紅外線連續地記錄視線變化，從而達到記錄、分析視線追蹤過程的目的。353.5自然交互與傳感技術（3）眼動跟蹤353.5自然交互與傳感技術（4）觸覺（力覺）反饋傳感技術

觸覺（力覺）是運用先進的技術手段將虛擬物體的空間運動轉變成特殊設備的機械運動，在感覺到物體的表面紋理的同時也使用戶能夠體驗到真實的力度感和方向感，從而提供一個嶄新的人機交互界面。觸摸感知是指人與物體對象接觸所得到的全部感覺，包括觸摸感、壓感、震動感、刺痛感等；觸摸反饋一般指作用在人皮膚上的力，它反映了人觸摸物體的感覺，側重于人的微觀感覺，如對物體的表面粗糙度、質地、紋理、形狀等的感覺；力量反饋是作用在人的肌肉、關節和筋腱上的力量，側重于人的宏觀、整體感受，尤其是人的手指、手腕和手臂對物體運動力的感受。363.5自然交互與傳感技術（4）觸覺（力覺）反饋傳感技術363.6實時碰撞檢測技術在虛擬現實系統中通常包含有很多靜止的環境對象與運動的活動物體，每一個虛擬物體的幾何模型往往都是由成千上萬個基本幾何元素組成，虛擬環境的幾何復雜度使碰撞檢測的計算復雜度大大提高，同時由于虛擬現實系統中有較高實時性的要求，要求碰撞檢測必須在很短的時間（如30-50ms）完成，因而碰撞檢測成了虛擬現實系統與其他實時仿真系統的瓶頸，碰撞檢測是虛擬現實系統研究的一個重要技術。碰撞問題一般分為碰撞檢測與碰撞響應兩個部分：碰撞檢測的任務是檢測到有碰撞的發生及發生碰撞的位置；碰撞響應是在碰撞發生后，根據碰撞點和其他參數促使發生碰撞的對象做出正確的動作，以符合真實世界中的動態效果。373.6實時碰撞檢測技術在虛擬現實系統中通常包含有很多靜止的3.6實時碰撞檢測技術碰撞檢測的要求

為了保證虛擬世界的真實性，碰撞檢測要有較高的實時性和精確性。所謂實時性，基于視覺顯示的要求，碰撞檢測的速度一般至少要達到24Hz，而基于觸覺要求，速度至少要到到300Hz才能維持觸覺交互系統的穩定性，只有達到1000Hz才能獲得平滑的效果。精確性的要求取決于虛擬現實系統在實際應用中的要求。383.6實時碰撞檢測技術碰撞檢測的要求383.6實時碰撞檢測技術碰撞檢測的實現方法

最簡單的碰撞檢測方法是對兩個幾何模型中的所有幾何元素進行兩兩相交測試。這種方法可以得到正確的結果，但當模型的復雜度增大時，計算量過大，十分緩慢。對兩物體間的精確碰撞檢測的加速實現，現有的碰撞檢測算法主要可劃分為兩大類：層次包圍盒法和空間分解法。393.6實時碰撞檢測技術碰撞檢測的實現方法39課堂作業請寫出對虛擬現實的理解40課堂作業請寫出對虛擬現實的理解403虛擬現實系統的相關技術

現階段計算機的運行速度達不到虛擬現實系統所需要的情況下，相關技術就顯得尤為重要。要生成一個三維場景，并使場景圖像能隨視角不同實時地顯示變化，只有設備是遠遠不夠的，還必須有相應的技術理論相支持。413虛擬現實系統的相關技術現階段計算機的運行速度3.1立體顯示技術人類從客觀世界獲得的信息的80%以上來自視覺。在視覺顯示技術中，實現立體顯示技術成為虛擬現實的一種極重要的支撐技術。人的左右眼有大約6-8cm的距離，由于這種視差，使得人的大腦能將兩眼得到的細微差別圖像進行融合而產生有空間感的立體物體。立體圖的產生基本過程是對同一場景分別產生兩個相應于左右雙眼的不同圖像，讓它們之間具有一定的視差。在觀察時借助立體眼鏡等設備，使左右雙眼只能看到與之相應的圖像，視線相交于三維空間中的一點上，從而恢復出三維深度信息。常見有彩色眼鏡法、偏振光眼鏡法、串行立體顯示法等。423.1立體顯示技術人類從客觀世界獲得的信息的80%以上來自3.2環境建模技術虛擬環境建模的目的在于獲取實際三維環境的三維數據，并根據其應用的需要，利用獲取的三維數據建立相應的虛擬環境模型。只有設計出反映研究對象的真實有效的模型，虛擬現實系統才有可信度。433.2環境建模技術虛擬環境建模的目的在于獲取實際三維環境的3.2環境建模技術虛擬現實系統中的虛擬環境，可能有下列幾種情況：（1）模仿真實世界中的環境（系統仿真）（2）人類主觀構造的環境（3）模仿真實世界中的人類不可見的環境（科學可視化）443.2環境建模技術虛擬現實系統中的虛擬環境，可能有下列幾種3.2環境建模技術虛擬現實系統中的環境建模技術與其他圖形建模技術相比，主要有以下三個特點：（1）虛擬環境中可以有很多的物體，往往需要建造大量完全不同類型的物體模型。（2）虛擬環境中有些物體有自己的行為，而一般其他圖形建模系統中只構造靜態的物體，或是物體簡單的運動。（3）虛擬環境中的物體必須有良好的操縱性能，當用戶與物體進行交互時，物體必須以某種適當的方式來做出相應的反應。453.2環境建模技術虛擬現實系統中的環境建模技術與其他圖形建3.2環境建模技術基于目前的技術水平，常見的是三維視覺建模和三維聽覺建模。而在當前應用中，環境建模一般主要是三維視覺建模。三維視覺建模可分為幾何建模、物理建模、行為建模。463.2環境建模技術基于目前的技術水平，常見的是三維視覺建模3.2.1幾何建模技術傳統意義上的虛擬場景基本上都是基于幾何的，就是用數學意義上的曲線、曲面等數學模型預先定義好虛擬場景的幾何輪廓，再采取紋理映射、光照等數學模型加以渲染。主要研究對象是對物體幾何信息的表示與處理。它涉及幾何信息數據結構及相關構造的表示與操縱數據結構的算法建模方法。473.2.1幾何建模技術傳統意義上的虛擬場景基本上都是基于幾何3.2.1幾何建模技術幾何模型一般可分為面模型與體模型：面模型用面片來表現對象的表面，其基本幾何元素多為三角形；建模與繪制技術相對成熟，處理方便，但難以進行整體形式的操作（如拉伸、壓縮等），多用于剛體對象的幾何建模。體模型用體素來描述對象的結構，其基本幾何元素多為四面體。擁有對象的內部信息，可以很好地表達模型在外力作用下的體特征（如變形、分裂等），但計算的時間與空間復雜度也相應增加，多用于軟體對象的幾何建模。483.2.1幾何建模技術幾何模型一般可分為面模型與體模型：83.2.1幾何建模技術幾何建模通常采用以下兩種方法：（1）人工的幾何建模方法利用虛擬現實工具軟件來進行建模，如OpenGL、Java3D、VRML等。這類方法主要針對虛擬現實技術的特點而編寫，編程容易，效率較高。直接從某些商品圖形庫中選購所需的幾何圖形，可以避免直接用多邊形拼構某個對象外形時繁瑣的過程，也可節省大量的時間。利用常用建模軟件來進行建模。如AutoCAD、3DS等，用戶可交互式地創建某個對象的幾何圖形，但并非所有要求的數據都以虛擬現實要求的形式提供，實際使用時必須要通過相關程序或手工導入。自制的工具軟件。493.2.1幾何建模技術幾何建模通常采用以下兩種方法：93.2.1幾何建模技術（2）自動的幾何建模方法采用三維掃描儀對實際物體機型三維掃描。基于圖片的建模技術。對建模對象實地拍攝兩張以上的照片，根據透視學和攝影測量學原理，根據標志和定位對象上的關鍵控制點，建立三維網格模型。503.2.1幾何建模技術（2）自動的幾何建模方法103.2.2物理建模技術幾何建模的下一步發展是物理建模，也就是在建模時考慮對象的物理屬性。虛擬現實系統的物理建模是基于物理方法的建模，往往采用微分方程來描述。典型的物理建模方法有分形技術和粒子系統。513.2.2物理建模技術幾何建模的下一步發展是物理建模，也就是3.2.3行為建模技術行為建模主要研究的是物體運動的處理和對其行為的描述。行為建模就是在創建模型的同時，不僅賦予模型外形、質感等表現特征，同時也賦予模型物理屬性和“與生俱來”的行為與反應能力，并且服從一定的客觀規律。523.2.3行為建模技術行為建模主要研究的是物體運動的處理和對3.2.3行為建模技術在虛擬環境行為建模中，建模方法主要有基于數值插值的運動學方法與基于物理的動力學仿真方法。（1）運動學方法：通過幾何變換（平移和旋轉等）來描述運動。（2）動力學仿真：運用物理定律而非幾何變換來描述物體的行為，在該方法中，運動是通過物體的質量和慣性、力和力矩以及其他的物理作用計算出來的。533.2.3行為建模技術在虛擬環境行為建模中，建模方法主要有基3.3真實感實時繪制技術要實現虛擬現實系統中的虛擬世界，僅有立體顯示技術是遠遠不夠的，虛擬現實中還有真實感與實時性的要求，也就是說虛擬世界的產生不僅需要真實的立體感，而且虛擬世界還必須實時生成，這就必須要采用真實感實時繪制技術。543.3真實感實時繪制技術要實現虛擬現實系統中的虛擬世界，僅3.3.1真實感繪制技術真實感繪制：在計算機中重現真實世界場景的過程。其主要任務是要模擬真實物體的物理屬性，即物體的形狀、光學性質、表面紋理和粗糙程度，以及物體間的相對位置、遮擋關系等等。實時繪制：當用戶視點發生變化時，他所看到的場景需要及時更新，這就要保證圖形顯示更新的速度必須跟上視點的改變速度。553.3.1真實感繪制技術真實感繪制：在計算機中重現真實世界3.3.1真實感繪制技術為了提高顯示的逼真度，加強真實性，常采用下列方法：（1）紋理映射：紋理映射是將紋理圖像貼在簡單物體的幾何表面，以近似描述物體表面的紋理細節，加強真實性。實質上，它用二維的平面圖像代替三維模型的局部。（2）環境映射：采用紋理圖像來表示物體表面的鏡面反射和規則透視效果。（3）反走樣：走樣是由圖像的像素性質造成的失真現象。反走樣方法的實質是提高像素的密度。563.3.1真實感繪制技術為了提高顯示的逼真度，加強真實性，3.3.2基于幾何圖形的實時繪制技術傳統的虛擬場景基本上都是基于幾何的，就是用數學意義上的曲線、曲面等數學模型預先定義好虛擬場景的幾何輪廓，再采用紋理映射、光照等數學模型加以渲染。大多數虛擬現實系統的主要部分是構造一個虛擬環境，并從不同的方向進行漫游。要達到這個目標，首先是構造幾何模型，其次模擬虛擬攝像機在六個自由度運動，并得到相應的輸出畫面。573.3.2基于幾何圖形的實時繪制技術傳統的虛擬場景基本上都3.3.2基于幾何圖形的實時繪制技術除了在硬件方面采用高性能的計算機，提高計算機的運行速度以提高圖形顯示能力外，還可以降低場景的復雜度，即降低圖形系統需處理的多邊形數目。有下面幾種用來降低場景復雜度的方法：（1）預測計算：根據各種運動的方向、速率和加速度等運動規律，可在下一幀畫面繪制之前用預測、外推法的方法推算出手的跟蹤系統及其他設備的輸入，從而減少由輸入設備所帶有的延遲。（2）脫機計算：在實際應用中有必要盡可能將一些可預先計算好的數據進行預先計算并存儲在系統中，這樣可加快需要運行時的速度。583.3.2基于幾何圖形的實時繪制技術除了在硬件方面采用高性3.3.2基于幾何圖形的實時繪制技術（3）3D剪切：將一個復雜的場景劃分成若干個子場景，系統針對可視空間剪切。虛擬環境在可視空間以外的部分被剪掉，這樣就能有效地減少在某一時刻所需要顯示的多邊形數目，以減少計算工作量，從而有效降低場景的復雜度。（4）可見消隱：系統僅顯示用戶當前能“看見”的場景，當用戶僅能看到整個場景很小部分時，由于系統僅顯示相應場景，可大大減少所需顯示的多邊形的數目。593.3.2基于幾何圖形的實時繪制技術（3）3D剪切：將一個3.3.2基于幾何圖形的實時繪制技術（5）細節層次模型(LevelofDetail,LOD)：首先對同一個場景或場景中的物體，使用具有不同細節的描述方法得到的一組模型。在實時繪制時，對場景中不同的物體或物體的不同部分，采用不同的細節描述方法，對于虛擬環境中的一個物體，同時建立幾個具有不同細節水平的幾何模型。LOD模型是一種全新的模型表示方法，改變了傳統圖形繪制中的“圖像質量越精細越好”的觀點，而是依據用戶視點的主方向、視線在景物表面的停留時間、景物離視點的遠近和景物在畫面上投影區域的大小等因素來決定景物應選擇的細節層次，以達到實時顯示圖形的目的。通過對場景中每個圖形對象的重要性進行分析，使得最重要的圖形對象進行較高質量的繪制，而不重要的圖形對象采用較低質量的繪制，在保證實時圖形顯示的前提下，最大程度地提高視覺效果。603.3.2基于幾何圖形的實時繪制技術（5）細節層次模型(L61213.3.3基于圖像的實時繪制技術當前真實感圖形實時繪制的其中一個熱點問題就是基于圖像的繪制(IBR,ImageBasedRendering)。IBR完全摒棄傳統的先建模、后確定光源的繪制方法，它直接從一系列已知的圖像中生成未知視角的圖像。基于圖像的繪制技術是基于一些預先生成的場景畫面，對接近于視點或視線方向的畫面進行變換、插值與變形，從而快速得到當前視點處的場景畫面。623.3.3基于圖像的實時繪制技術當前真實感圖形實時繪制的其3.3.3基于圖像的實時繪制技術與基于幾何的傳統繪制技術相比，基于圖像的實時繪制技術的優勢在于：（1）計算量適中，對計算機的資源要求不高。（2）作為已知的源圖像既可以是計算機生成的，也可以是用相機從真實環境中捕獲，甚至是兩者混合生成，因此可以反映更加豐富的明暗、顏色、紋理等信息。（3）圖像繪制技術與所繪制的場景復雜性無關，交互顯示的開銷僅與所要生成畫面的分辨率有關，因此能用于表現非常復雜的場景。633.3.3基于圖像的實時繪制技術與基于幾何的傳統繪制技術相3.3.3基于圖像的實時繪制技術目前基于圖像的繪制的相關技術主要有以下兩種：（1）全景技術：全景技術是指在一個場景中選擇一個觀察點，用相機或攝像機每旋轉一下角度拍攝得到一組照片，再采用各種工具軟件拼接成一個全景圖像，它所形成的數據較小，對計算機要求低，適用于桌面型虛擬現實系統中，建模速度快，但一般一個場景只有一個觀察點，因此交互性較差。（2）圖像的插值及視圖變換技術：根據在不同觀察點所拍攝的圖像，交互地給出或自動得到相鄰兩個圖像之間對應點，采用插值或視圖變換的方法求出對應于其他點的圖像，生成新的視圖，根據這個原理可實現多點漫游。643.3.3基于圖像的實時繪制技術目前基于圖像的繪制的相關技3.4三維虛擬聲音的實現技術虛擬現實系統中的三維聲音，使聽者能感覺到聲音是來自圍繞聽者雙耳的一個球形中的任何地方。因此把在虛擬場景中能使用戶準確地判斷出聲源的精確位置、符合人們在真實境界中聽覺方式的聲音系統稱為三維虛擬聲音。653.4三維虛擬聲音的實現技術虛擬現實系統中的三維聲音，使聽3.4.1三維虛擬聲音的作用聲音在虛擬現實系統中的作用，主要有以下幾點：（1）聲音是用戶和虛擬環境的另一種交互方法，人們可以通過語音與虛擬世界進行雙向交流。（2）數據驅動的聲音能傳遞對象的屬性信息。（3）增強空間信息，尤其是當空間超出了視域范圍。663.4.1三維虛擬聲音的作用聲音在虛擬現實系統中的作用，主3.4.2三維虛擬聲音的特征在三維虛擬聲音系統最核心的技術是三維虛擬聲音定位技術，它的特征主要有：（1）全向三維定位特征：在三維虛擬空間中把實際聲音信號定位到特定虛擬專用源的能力。（2）三維實時跟蹤特性：在三維虛擬空間中實時跟蹤虛擬聲源位置變化或景象變化的能力。（3）沉浸感與交互性：沉浸感是指加入三維虛擬聲音后，能使用戶產生身臨其境的感覺，有助于增強臨場效果。而三維聲音的交互特性則是指隨用戶的運動而產生的臨場反應和實時響應的能力。673.4.2三維虛擬聲音的特征在三維虛擬3.4.3語音識別技術與虛擬世界進行語音交互是實現虛擬現實系統中一個高級目標，語音技術在虛擬現實技術中的關鍵技術是語音識別技術和語音合成技術。語音識別技術(ASR,AutomaticSpeechRecognition)：將人說話的語音信號轉換為可被計算機程序所識別的文字信息，從而識別說話人的語音指令以及文字內容的技術。包括：參數提取、參考模式建立、模式識別等過程。683.4.3語音識別技術與虛擬世界進行語音交互是實現虛擬現實3.4.4語音合成技術語音合成技術（TTS,TesttoSpeech）：用人工的方法生成語音的技術，當計算機合成語音時，如何能做到聽話人能理解其意圖并感知其情感，一般對“語音”的要求是清晰、可聽懂、自然、具有表現力。實現語音輸出有兩種方法：（1）錄音/重放：首先要把模擬語音信號轉換成數字序列，編碼后暫存于存儲設備中（錄音），需要時再經解碼，重建聲音信號（重放）。（2）文-語轉換：把計算機內的文本轉換成連續自然的語聲流。應預先建立語音參數數據庫、發音規則庫等。需要輸出語音時，系統按需求先合成語音單元，再按語音學規則或語言學規則連接成自然的語流。693.4.4語音合成技術語音合成技術（TTS,Testt3.5自然交互與傳感技術人機交互界面經歷以下幾個發展階段：（1）20實際40年代到70年代，人機交互采用的是命令行方式（CLI）。（2）到20世紀80年代初，出現了圖形用戶界面（GUI），GUI的廣泛流行將人機交互推向圖形用戶界面的新階段。（3）到20世紀90年代初，多媒體界面成為流行的交互方式，它在界面信息的表現方式上進行了改進，使用了多種媒體。同時，界面輸出也開始轉為動態、二維圖形/圖像及其他多媒體信息的方式。703.5自然交互與傳感技術人機交互界面經歷以下幾個發展階段：3.5自然交互與傳感技術作為新一代的人機交互系統，虛擬現實技術與傳統交互技術的區別：（1）自然交互（2）多通道（3）高“帶寬”（4）非精確交互技術713.5自然交互與傳感技術作為新一代的人機交互系統，虛擬現實3.5自然交互與傳感技術在虛擬現實領域中較為常用的交互技術有手勢識別、面部表情的識別以及眼動跟蹤等。（1）手勢識別

手勢識別系統的輸入設備與主要分為基于數據手套的識別和基于視覺（圖像）的手語識別系統兩種。

基于數據手套的手勢識別系統，就是利用數據手套和位置跟蹤器來捕捉手勢在空間運動的軌跡和時序信息，對較為復雜的手的動作進行檢測，包括手的位置、方向和手指彎曲度等，并可根據這些信息對手勢進行分析。基于視覺的手勢識別是從視覺通道獲得信號，通常采用攝像機采集手勢信息，由攝像機連續拍下手部的運動圖像后，先采用輪廓的辦法識別出手上的每一個手指，進而再用邊界特征識別的方法區分出一個較小的、集中的各種手勢。手勢識別技術主要有：模板匹配、人工神經網絡和統計分析技術。723.5自然交互與傳感技術在虛擬現實領域中較為常用的交互技術3.5自然交互與傳感技術（2）面部表情識別人可以通過臉部的表情表達自己的各種情緒，傳遞必要的信息。人臉圖像的分割、主要特征（如眼睛、鼻子等）定位以及識別是這個技術的主要難點。一般人臉檢測問題可以描述為：給定一副靜止圖像或一段動態圖像序列，從未知的圖像背景中分割、提取并確認可能存在的人臉，如果檢測到人臉，提取人臉特征。在某些可以控制拍攝條件的場合，將人臉限定在標尺內，此時人臉的檢測與定位相對容易。在另一些情況下，人臉在圖像中的位置預