虛擬現實技術

4.1虛擬現實的特征及基本構成4.2虛擬現實技術的發展概況4.3位置跟蹤通道4.4視覺通道4.5聽覺通道4.6觸覺、力反饋4.7虛擬場景的生成

虛擬現實技術4.1虛擬現實的特征及基本構成1虛擬現實的基本概念

1989年，美國VPLResearch公司創始人JaronLanier提出了"VirtualReality"（虛擬現實）的概念。在這里，"Reality"的含義是現實的世界，或現實的環境。所以，"VirtualReality"（虛擬現實）的另一個名稱是"VirtualEnvironment"（虛擬環境）。"Virtual"說明，這個世界或環境是虛擬的，不是真實的。這個世界或環境是人工構造的，是存在于計算機內部的。用戶應該能夠"進入"這個虛擬的環境中。所謂"進入"這個虛擬的環境中，是指用戶以自然的方式與這個環境交互（包括感知環境并干預環境），從而產生置身于相應的真實環境中的虛幻感，身臨其境的感覺。

虛擬現實的基本概念1989年，美國VPLRe2"VirtualReality"（虛擬現實）或"VirtualEnvironment"（虛擬環境）是人工構造的，存在于計算機內部的環境。用戶應該能夠以自然的方式與這個環境交互（包括感知環境并干預環境），從而產生置身于相應的真實環境中的虛幻感，沉浸感，身臨其境的感覺。

虛擬環境(VirtualEnvironment，VE)系統或虛擬現實(VirtualReality，VR)系統包括人類操作者、人機接口和計算機。"VirtualReality"（虛擬現3

虛擬現實系統應用最多的專用設備是頭盔式立體顯示器和數據手套。于是，有人以使用這些專用設備為虛擬現實系統的標志。這種觀點是不準確的。上述的虛擬現實的概念，是在計算機應用和人機交互方面開創的全新的學科領域。這個新領域的發展，還有很多困難，有很多技術難點有待解決。當前，這一領域還只是走出了第一步。頭盔式立體顯示器和數據手套等設備，只是當前已經實現的一部分虛擬顯示設備。它們還很不完善。例如，頭盔的視場，分辨率，造成眩暈等問題還有待解決。聽覺接口和力覺接口等設備還在研究，應用還不多。味覺，嗅覺，運動覺等技術，還缺乏研究。

虛擬現實系統應用最多的專用設備是頭盔式立體顯示4虛擬現實技術

虛擬現實技術5虛擬現實系統中的虛擬環境，可能有下列幾種情況。

第一種情況是模仿真實世界中的環境。例如，建筑物，武器系統，或戰場環境。這種真實環境，可能是已經存在的，也可能是已經設計好但還沒有建成的。為了逼真地模仿真實世界中的環境，要求逼真地建立幾何模型和物理模型。環境的動態應符合物理規律。這一類虛擬現實系統的功能，實際是系統仿真。

第二種情況是人類主觀構造的環境。例如，用于影視制作或電子游戲的三維動畫。環境是虛構的，幾何模型和物理模型就可以完全虛構。這時，系統的動畫技術常用插值方法。

第三種情況是模仿真實世界中的人類不可見的環境。例如，分子的結構，空氣中速度、溫度、壓力的分布等。這種真實環境，是客觀存在的，但是人類的視覺和聽覺不能感覺到。對于分子結構這類微觀環境，進行放大尺度的模仿，使人能看到。對于空氣中速度這類不可見的物理量，可以用流線顯示速度（流線方向表示速度方向，流線密度表示速度大小）。這一類虛擬現實系統的功能，實際是科學可視化。

由此可見，虛擬現實技術可以用于系統仿真、科學可視化、三維動畫等領域。

虛擬現實系統中的虛擬環境，可能有下列幾種情況。

6第一種情況第一種情況7第二種情況第二種情況8虛擬現實的特點

基于虛擬現實的基本概念，可以得到虛擬現實的下列三個特點。

1．計算機提供“環境”,不是“數據,信息”。這改變了人機接口的內容。

2．操作者由視覺,聽覺,力覺感知環境,由自然的動作操作環境,不是由屏幕,鍵盤,鼠標和計算機交互。這改變了人機接口的形式。

3．逼真的感知和自然的動作，使人產生身臨其境的感覺。這改變了人機接口的效果。虛擬現實的特點基于虛擬現實的基本概念，可以得9

第一個特點體現了計算機應用的新方向。計算機的名稱體現了，它的最早應用是計算。當時，計算機和用戶交互的是計算有關的數值。此后，計算機擴大到處理數值，字符串，文本等各類數據。以后，計算機更擴大到處理圖像，圖形，聲音，語言等多種媒體的信息。虛擬現實系統則以環境為計算機處理的對象和人機交互的內容。這開拓了計算機應用的新思路。

第二個特點體現了計算機人機接口的新方向。至今為止的計算機人機接口都是面向機器的。終端，鍵盤，鼠標，打印機等接口設備，都是適應計算機的專用設備。這些設備很好地完成了各類數據和多媒體信息的交互。虛擬現實中的人機接口，則是面向用戶的。虛擬現實系統中，用戶以自然的方式與虛擬環境交互。所謂自然的方式，是指用戶通過視覺，聽覺，觸覺等感覺虛擬環境，使用戶產生在真實環境中的幻覺。同時，用戶通過在真實環境中的行為，去干預虛擬環境。于是，虛擬現實的人機接口設備，完全不同于現有計算機的人機接口設備。這也是虛擬現實技術中最有特色的內容。

第三個特點體現了計算機人機接口的新要求。用戶通過人機接口與虛擬環境交互的結果，是使用戶產生身臨其境的虛幻感，沉浸感。

第一個特點體現了計算機應用的新方向。計算機的名10虛擬現實的應用領域1．娛樂

2．國防

3．設計、制造和銷售

4．醫療和健康

5．危險操作

6．訓練

7．教育

8．信息可視化

9．遠程交往與遠程游歷

虛擬現實的應用領域1．娛樂

2．國防

11虛擬現實技術

1．VR的人機接口

2．VR的計算機系統

3．VR的建模和仿真

虛擬現實技術1．VR的人機接口

121．VR的人機接口

VR的人機接口有兩個作用：其一是給人類操作者提供環境信息（視覺、聽覺和觸覺），其二是感覺人類操作者的動作和響應（位置跟蹤和映射）。前者包括：視覺通道、聽覺通道、觸覺通道、運動接口和其他接口。后者包括：位置跟蹤和映射，語音識別等。

（1）位置跟蹤和映射

位置跟蹤和映射用于測量人體各部位的位置和姿態，分析判斷人面部的表情。它的目的是了解人的身體行為。這是為了實現人機交互所必需的系統功能。VR系統由此了解人的行為，然后做出適當的響應，實現交互。

常用的技術包括：機械鏈接、磁傳感器、聲傳感器、光傳感器和慣性傳感器。基本目標是精確完成位置和姿態的測量。三個主要的要求：大范圍的線性響應，高帶寬（1kHz），以及允許頭和身體的運動。

（2）視覺通道

視覺通道給人的視覺系統提供圖形顯示。為了提供身臨其境的逼真感覺，視覺通道應該滿足一些要求。顯示的像素應該足夠小，使人不至感覺到像素的不連續。顯示的頻率應該足夠高，使人不至感覺到畫面的不連續。給兩眼提供具有雙目視差的圖形，形成立體視覺。應該具有足夠大的視場，理想情況是顯示畫面充滿整個視場。

視覺通道的顯示表面分為：基于CRT和基于LCD。視覺通道的光學系統分為：頭盔顯示(HMD)和非頭盔顯示(OHD)。

1．VR的人機接口

VR的人機接口有兩個作用：其一是給人13專用頭盔圖專用頭盔圖14

（3）聽覺通道

聽覺通道給人的聽覺系統提供聲音顯示。為了提供身臨其境的逼真感覺，聽覺通道應該滿足一些要求，使人感覺置身于立體的聲場之中，能識別聲音的類型和強度，能判定聲源的位置。

聽覺通道的關鍵技術包括：合成由接口提供的虛擬聲音信號，聲音在虛擬空間定位問題，以及發聲設備。

（4）觸覺通道

觸覺通道給人體表面提供觸覺和力覺。當人體在虛擬空間中運動時，如果接觸到虛擬物體，虛擬顯示系統應該給人提供這種觸覺和力覺。

觸覺通道涉及操作以及感覺，包括觸覺反饋和力覺反饋。觸覺通道的結構分為：安在身體上和安在地面的設備。

（3）聽覺通道

聽覺通道給人的聽覺系統提供聲音15

（5）運動接口

人體在環境中的運動包括：身體的被動運動(被動移動，如在車上的運動)，身體主動運動（漫游，如散步）。人在運動中，人體內部的運動感覺器官可以感知運動信息。

感知運動信息的器官包含：前庭系統，運動系統，視覺聽覺系統，本體感受，動覺和觸覺。運動接口應該給這些器官提供運動信息。

（6）其它類型接口

其它類型接口包括：嗅覺、味覺通道，以及感覺熱、風及濕度的接口。還包括語音通訊（語音識別與合成）以及直接心理感覺和控制。這些接口還缺乏研究，以下將不介紹。（5）運動接口

人體在環境中的運動包括：身體的被動16

2．VR的計算機系統

現有的虛擬顯示系統主要考慮視覺通道。聽覺通道和觸覺通道還處于研究階段。所以，VR的計算機系統主要考慮視覺通道的要求。

（1）硬件

視覺通道對計算機系統的要求，首先是要求維持足夠的圖形幀速率。于是要求在指定的時間內（約為0.1秒）計算出兩眼的兩幅圖像。同時要求提供足夠好質量的圖像，這一般體現在圖像中顯示的多邊形或三角形的樹木。因此，往往需要專用硬件。圖形硬件應提供快速幾何變換、截取、消隱、多邊形填充和表面紋理。

（2）軟件

VR系統中的軟件主要包括下列幾種。交互軟件利用人機控制設備的輸出去修改VE。視覺漫游軟件控制用戶在VE中運動時看到的場景。建模軟件定義虛擬物體形狀、外觀和屬性的模型。操作系統支持VE的實時多模態要求。

（3）網絡

分布式交互仿真已經成為現代仿真技術，特別是軍事仿真的潮流。通訊網絡可以把VE轉換成共享的分布式計算環境。2．VR的計算機系統

173．VR的建模和仿真

（1）建模

建模包括：幾何建模和物理建模。一般的VR工具軟件都具有幾何建模功能。利用現有的CAD建模工具也是常用的方法。市場上已有商業模型庫出售。對實際物體的建模，則采用激光掃描等專用設備。物理建模是基于物理方程的建模。一般考慮剛體建模，鏈接物體的建模，以及非剛體的建模。智能體的建模不是基于物理方程，而是基于人為的物體智能。

人工建模技術在圖形學和CAD領域，已有成熟的成果。自動建模采用激光掃描建立幾何模型，也已經有相關產品。自動建立物理模型的研究還不多。

3．VR的建模和仿真

（1）建模

建模包括：幾何建模和18

（2）仿真

仿真包括：圖形繪制和三維動畫。

圖形繪制是把三維環境，相對于虛擬攝像機（虛擬視點）投影，形成圖像的過程。為了提供連續運動的錯覺，幀速率必須大于每秒8到10幀。為了保持瞬間交互控制的錯覺，響應時間的延遲必須小于0.1秒。為了繪制人眼可分辨的所有細節，這要求有8千萬個多邊形。這是對于圖形繪制的要求。

然而，用今天的硬件，每個畫面8千萬多邊形的系統對真正的實時交互是太慢了，于是存在真實圖像與實時交互間的折衷。某些應用（如建筑和藝術）可能要求照片一樣真實的繪制。制造和醫療應用要求更高層次的實時交互。

三維動畫可以用兩種途徑實現。基于物理模型的數值計算是一種方法。軍事和工業等應用，往往要求這種滿足物理規律的仿真技術。數學插值則是另一種實現動畫的方法。這種技術在三維動畫電影中獲得了巨大的成功。

下圖表示，虛擬現實開發系統的方塊圖。用戶通過輸入輸出設備與輸入輸出軟件交互。輸入軟件通過形狀編輯器完成幾何建模，通過聲音編輯器完成虛擬聲音系統建模。然后，在世界編輯器完成虛擬環境的建模。其中的虛擬剪切器，用于模型的剪切。建立的模型，保存在虛擬世界中。整個工作在計算機系統中完成。

（2）仿真

19虛擬制造技術虛擬現實技術20虛擬現實的接口設備

位姿傳感器

視覺顯示

聽覺顯示

力覺和觸覺顯示

虛擬現實的接口設備

位姿傳感器

211．位姿傳感器的要求

機器人、生物學、建筑、CAD、教育等應用領域，都要求知道運動物體實時的位置和方向。虛擬現實系統則要求知道人體各部分實時的位置和方向。

（1）3-D空間中的運動的剛體具有三個平移（沿著X、Y和Z軸）和三個轉動（偏航、俯仰和滾動）。

（2）在物體以高速運動時，應該足夠快地測出這六個數值。

（3）3-D測量不應妨礙物體運動。非接觸式測量（低頻磁場、超聲、雷達、紅外攝像和LED等）已經代替機械臂等接觸式測量。

（4）3-D傳感器都具有一些共同的參數。

位姿跟蹤常用的性能參數有：精度，分辨率，采樣率，執行時間，范圍，工作空間，價格，障礙，方便，對模糊的敏感，容易校準，同時測量的數目，方向相對位置跟蹤。1．位姿傳感器的要求

機器人、生物學、建筑、CAD、教育22

（5）人體并非剛體。上述六個數值只能描述人體整體的運動，人體各部分之間的相對運動也應該測量。

（6）位姿跟蹤和映射是VE系統的基本要求。常用的要求包括：

（a）視覺顯示對頭和眼的跟蹤；

（b）觸覺接口對手和臂的跟蹤；

（c）視覺顯示對身體的跟蹤；

（d）面部表情識別、虛擬衣服和醫用遙控機器人的映射；

（e）建立數字化幾何模型的環境映射。

（7）一種工作方式（“流動”方式）中，傳感器數據連續送給主計算機。這最適于快速運動的物體。但是這加重了通信線路的負擔。如果要求以30個畫面/秒的速率重復計算，則每33毫秒要畫出一個畫面。9600波特率的串行口要花費12毫秒傳送6個數的一組數據（每個數有16bit）。因此，僅僅通信就要花費33毫秒的36%。

另一種工作方式（“請求”方式）中，當主計算機請求時，才傳送一組的6個數。其它時間不讀傳感器數據，于是總體畫面更新時間中的通信時間部分就下降了。

（8）

用于位姿跟蹤和映射的基本傳感系統有：

機械鏈接，磁傳感器，光傳感器，聲傳感器和慣性傳感器。

（5）人體并非剛體。上述六個數值只能描述人體整體的運動，232．各種位姿跟蹤器的比較如下：2．各種位姿跟蹤器的比較如下：243．研究要求

一般，位置跟蹤器要求合適的性能和合理的價格。對肢體跟蹤，某些光學傳感器是精確快速的，但對日常應用太貴（在5萬到10萬美元范圍），特別是為了防止阻擋和增加工作空間而加倍安裝時。

肢體跟蹤的任何傳感系統難以識別可靠的基準點，這是由于人體組織和衣服的柔軟性。

為了得到關節角，必須使用某些校準過程，在肢體上建立坐標系。此后的關節角計算將接近真實的生物機械角。

對整個人體跟蹤，工作空間大小是重要問題。應該能在足夠大的空間跟蹤運動人體，并且不會損失分辨率，不必擔心遮擋。被跟蹤的人應能在建筑中由一個房間走到另一個房間。如果人體所有主要部分都被跟蹤，則要求安裝某些東西在人體上（反光器，標記，測角器）的傳感系統，不如掃描人體的系統有吸引力。

對人體和環境表面映射，某些激光跟蹤器是精確而快速的，但還較貴。VE的長期目標是高精度實時跟蹤人體的光學映射系統。這可能是用自然光或主動激光掃描的立體視覺系統。

測量方法是在選擇位置跟蹤方法時最易混淆的一個問題，問題是性能指標的含義及測量方法之間的不一致。應建立標準，指出怎樣測精度、分辨率、等待時間、帶寬、敏感干擾、和起伏。測量設備應商品化，應建立獨立的實驗室，使用戶不至依賴廠家指標，而是了解真實性能。

3．研究要求

25機械式傳感器

1．原理：

機械式傳感器可分兩類：

"安在身體上的"機械跟蹤器中，機械全部安在身上。

"安在地面上的"機械跟蹤器中，機械部分安在地面。

2．機械式傳感器的優缺點：

機械式傳感器：是便宜的，比較精確。可以測量整個身體運動，沒有延遲。可以同時實現力反饋。但妨礙身體運動機械式傳感器1．原理：

機械式傳感器可分兩類：

"安在26（1）測角器（"安在身體上的"機械跟蹤器）

（2）安在地面上的鏈接

3-D探頭

（1）測角器（"安在身體上的"機械跟蹤器）

（2）安在地面上27傳感手套是為滿足上述要求而設計的虛擬現實工具。商業化的產品有VPL公司的DataGlove，Vertex的CyberGlove，Mattel的PowerGlove，和ExosDextrousHandMaster。它們都用傳感器測量全部或部分手指關節的角度。某些傳感手套還用3-D傳感器跟蹤用戶手腕的運動。手套的工作區大于跟蹤球和手柄（探頭）的工作區。

下圖表示，人手指的各種運動。傳感手套是為滿足上述要求而設計的虛擬現實工具。28把原始的傳感器讀數變成手指關節角的過程稱為手套校準。每當開始一次新的仿真，戴上數據手套時，都必須重新作校準。這是因為不可能知道是否用戶把手套松緊合適地戴在手指上。

下圖表示，數據手套DataGlove的結構。

把原始的傳感器讀數變成手指關節角的過程稱為手套29虛擬制造技術虛擬現實技術30電磁傳感器

電磁傳感器測量頭，手，其他設備的位姿。測量三個坐標，以及三個姿態角度。下圖表示，電磁傳感器用于測量頭盔的位姿。輕便的電磁接受器部分安裝在頭盔上，電磁發射器安裝在地面。電磁傳感器電磁傳感器測量頭，手，其他設備的位31超聲傳感器超聲傳感器同樣測量頭，手，其他設備的位姿。測量三個坐標，以及三個姿態角度。

下圖表示使用超聲傳感器的示意圖。在用戶頭部前額上的正三角形架子上安裝了三個超聲接受器，另一個大的正三角形架子上安裝了三個超聲發射器。

超聲傳感器超聲傳感器同樣測量頭，手，其他設備的32視覺顯示

理想的視覺顯示與日常經歷中的場景對比，在質量、修改率和范圍方面應該是無法區分的。但是當前的技術還不支持這種高真實度的視覺顯示，而且也不清楚是否多數應用要求這種高真實度。對任何給定的應用，必須認真評價各種顯示特性的重要性，這包括視覺特性（視場、分辨率、亮度、對比和彩色），人類工程學，安全，可靠和價格。視覺顯示的基本要求是提供立體視覺。

對虛擬現實（VR），最常用的技術成熟的顯示類型是陰極射線管（CRT）和背光液晶顯示（LCD）。雖然這些技術對近期的虛擬現實應用是很有用的，但幾個缺點卻妨礙其長期的發展。

1．CRT類顯示

2．LCD類顯示

視覺顯示理想的視覺顯示與日常經歷中的場景對比，33

CRT技術是多年來在電視機和計算機監視器上廣泛應用的成熟技術。CRT技術能給頭盔顯示器提供小的高分辨率高亮度的單色顯示。但這些CRT較重，并把高電壓放在人頭部上的設備中。此外，開發小型高分辨率高亮度彩色CRT是困難的。在頭盔顯示中，要求笨重的光學設備形成高質量圖像。

組合的技術途徑可產生高質量彩色圖像，并減少重量和價格。近期的途徑是把高質量彩色的基于CRT的HMD（頭盔顯示器）引入市場，它使用了加于單色CRT的機械電子彩色濾光技術。這種途徑中，CRT以三倍正常速率掃描，并依次加上紅、綠、蘭三色的濾光器。

CRT技術是多年來在電視機和計算機監視器上廣泛34

LCD技術以低電壓產生彩色圖像，但只具有很低的圖像元密度。在頭盔顯示中，也要求笨重的光學設備形成高質量圖像。

市場出售的頭盔式顯示器幾乎全部依靠TV（電視機）質量的液晶顯示。在VR和遙操作領域，不要求大區域顯示。只要求緊湊的輕便的高分辨率顯示。LCD顯示器有待提高其分辨率。LCD技術以低電壓產生彩色圖像，但只具有很低的353．VRD類顯示與基于CRT或LCD的顯示器不同的工作是在華盛頓大學人類接口接術（HIT）實驗室。HIT實驗室正研究基于激光微掃描技術的顯示VRD，它用微型固體激光器掃描視網膜上的彩色圖像。它的優點是不使用笨重的光學設備，可能開發高分辨率、輕便、低價格顯示系統。但激光微掃描顯示還面對大量技術障礙。

VRD的應用包括用于軍事，頭盔，移動電話，以及醫學上。

3．VRD類顯示與基于CRT或LCD的顯示器不36下圖表示，VRD的顯示設備用于頭盔顯示器。

下圖表示，VRD的顯示設備用于頭盔顯示器。37未來的VRD的頭盔顯示器

未來的VRD的頭盔顯示器38視覺顯示的產品幾種基于LCD的頭盔產品視覺顯示的產品幾種基于LCD的頭盔產品39視覺顯示的產品基于CRT的頭盔產品

視覺顯示的產品基于CRT的頭盔產品40聽覺顯示虛擬環境的聽覺接口應能給兩耳提供一對聲波。

(1)它應有高逼真性，

(2)能以預訂方式改變波形，作為聽者各種屬性和輸出的函數(包括頭部位姿變化)，

(3)排除所有不是VR系統產生的聲源(如真實環境背景聲音)。對增強現實系統可以放松上述條件(3)，它的意圖是組合合成聲音與真實聲音。聽覺顯示虛擬環境的聽覺接口應能給兩耳提供一對聲41聲音顯示設備一般講，用耳機最容易達到虛擬現實的要求。在使用喇叭，并遠離頭部時，每個耳朵聽到每個喇叭的聲音，控制問題很困難。雖然商業化的高逼真電影往往聲稱喇叭有很好的形成聲象能力，但用戶限制在房中單一收聽位置，只得到固定方位聲象（不補償頭部轉動），而且房間的聲學特性不容易處理。此外，由于耳朵完全打開,不可能排除環境中附加的聲音。最后，雖然與耳機有關的接觸感可能限制聽覺臨場感的程度，但是由于用戶需要在虛擬和真實環境之間來回轉移，這種與耳機接觸可能是有用的。在任何情況，由于視覺接口會存在這些問題。在需要喇叭的情況下，可能發生高能低頻聲爆破。這種情況，喇叭可能用于振動部分身體，而不僅是耳膜。

聲音顯示設備一般講，用耳機最容易達到虛擬現實的要求42房間聲音建模1．聲音的空間分布

虛擬環境聽覺接口以前多數工作是要提供聲音的空間分布。在這個領域，工作最初集中在仿真正常的空間分布。很少注意提供超正常分布。

2．房間聲學建模

當前，Acoustetron是唯一的包含簡化的房間實時聲學建模的實時聲音空間定位系統。即使聲學模型是簡單的，并只有少量一階和二階反射，系統提供了加強的現實性。

3．增強現實顯示房間聲音建模1．聲音的空間分布

虛擬環境聽覺接口以前多43力覺和觸覺顯示

1．接觸反饋和力反饋

接觸接口可以按照提供給用戶的信息分成兩類，接觸反饋和力反饋。接觸反饋給用戶提供的信息有：物體表面幾何形狀、表面紋理、滑動等。力反饋給用戶提供的信息有：總的接觸力、表面柔順、物體重量等。接觸接口還可以分成：部分身體運動接口，以及全身運動接口。部分身體運動接口，安裝在人體的一部分，如手、臂、軀干等。全身運動接口則全面支持在虛擬環境中的主動和被動的運動，但這種接口技術還遠未成熟。機械接觸接口的一個重要的指標是：自由度（DoF）。由操作器的觀點看，自由度是關節的數目。這些關節是位置受控的，也是力矩受控的。2．接觸反饋和力反饋的要求

在虛擬現實交互中，沒有真實的被抓物體。虛擬接觸反饋和力反饋需要復制實時計算的接觸力、表面形狀、平滑性和滑動等。除了對所有傳感通道的實時要求外，對虛擬接觸反饋和力反饋還有某些特殊要求。力覺和觸覺顯示1．接觸反饋和力反饋

接觸接口可以443．接觸反饋和力反饋的技術

接觸接口需要幾種機械部件，以及描述環境性質的模型和軟件。至今還只有很少的接觸反饋和力反饋設備。他們采用下列的技術。

（1）軟件和模型

（2）心理物理學

（3）作用器3．接觸反饋和力反饋的技術

接觸接口需要幾種機械部45觸覺顯示設備接觸反饋在物體辨識與操作中起重要作用。它也檢測開始接觸，所以在任何力反饋系統中也是需要的。人體具有二十種不同類型的神經末梢，給大腦發送信息。多數感知器是熱、冷、疼、壓、接觸等感知器。接觸接口給這些感知器提供：高頻震動、形狀或壓力分布、溫度分布等信息。

接觸反饋設備有下列幾種

觸覺顯示設備接觸反饋在物體辨識與操作中起重要作461．氣動接觸反饋

1．氣動接觸反饋472．振動觸覺反饋2．振動觸覺反饋48力覺顯示設備

力反饋設備應該跟蹤用戶身體的運動，以及用戶施加的力。根據這些數據，力反饋設備確定它加給用戶的力。這種接口的目標是給用戶提供立即的，高逼真的，可信的真實交互。

力反饋手柄力覺顯示設備力反饋設備應該跟蹤用戶身體的運動49力反饋手臂手臂有重力和慣性補償，于是在與虛擬環境無交互時在手柄上也不感到力。

（a）為系統布局，（b）為手臂的結構

力反饋手臂手臂有重力和慣性補償，于是在與虛擬環50虛擬場景的生成虛擬場景的生成主要包括兩方面內容：

虛擬環境的建模及三維圖形顯示。

幾何對象的完整描述應包括兩方面，其一稱為“靜態模型”，他描述對象的靜態特征，包括幾何尺寸、形狀特征、位置、方向、材料及有關屬性；其二稱之為“動態模型”，他描述對象的動態屬性，包括其運動、行為及其約束條件等。1、虛擬場景靜態模型的建立靜態模型的描述一般分為：幾何模型，光照模型、灰度模型、紋理處理、渲染效果等。2、虛擬場景動態模型的建立虛擬場景動態模型建立主要涉及兩個方面的內容，其一是如何確定場景中每一個對象運動過程中的坐標（包括絕對坐標與相對坐標），其二是當視點變化時場景如何動態刷新。虛擬場景的生成虛擬場景的生成主要包括兩方面內容：512虛擬現實技術虛擬現實技術是一種三維計算機圖形技術與計算機硬件技術發展而實現的高級人機交互技術，讓用戶通過視覺、聽覺、觸覺、甚至嗅覺和味覺等多種知覺方式實時地與計算機所建造的仿真環境發生相互作用。虛擬現實（VR-VirtualReality)VR技術是綜合利用計算機圖形系統和各種顯示和控制等接口設備，在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術。VR技術的直觀與交互特性彌補了傳統設計工具的不足為概念設計，設計方案的評價提供了有力的支持VR技術是一個極有應用潛力的新技術領域虛擬現實技術提供了在產品制造以前觀察、驗證和使用產品的可視化的環境。2虛擬現實技術虛擬現實技術是一種三維計算機52虛擬現實技術的特征

1）立體感的視覺效果由內向外觀察，按人的視覺原理設計，環境真實感2）人在虛擬環境中的沉浸感用戶在虛擬空間處于運動坐標系中。3）多知感借助多媒體，產生視覺、聽覺、觸覺感。4）閉環的交互方式人對虛擬空間的對象進行操作時，對象將給人以感覺上的反饋5）動態的顯示場景可隨人的視點作全方位的運動

虛擬現實技術提供：具有獨特輸入/輸出裝置的特殊人機界面，如頭盔式顯示器HMD、跟蹤器、數據手套、定位器等。借助這些虛擬外設，比之傳統CAD技術，用戶就可沉浸在仿真環境之中，有“身臨其境”的感覺，從而完成在現實世界中可能或不可能的工作虛擬現實技術的特征1）立體感的視覺效果53虛擬現實環境的建立屏幕仿真采用鍵盤和鼠標與計算機交互，用戶仍然置身于虛擬環境之外操作和觀看。借助立體顯示裝置和軟件、多通道的視覺、聽覺、觸覺和甚至味覺傳感器，可使用戶沉浸到虛擬環境中去，構想成接近現實的幻覺。這種環境稱為虛擬實境（VirtualReality）是一種能在三維視覺空間中進行實時仿真和交互的高端人機界面。虛擬現實環境的建立屏幕仿真采用鍵盤和鼠標與計算54虛擬現實環境的建立交互沉浸遐想視覺聽覺觸覺味覺虛擬環境虛擬現實環境的建立交互沉浸遐想視覺聽覺觸覺味覺虛擬55虛擬現實環境的建立有沉浸感的虛擬實境環境人工的虛擬實境產品帶頭盔的用戶虛擬實境計算機虛擬現實環境的建立有沉浸感的虛擬實境環境人工的虛擬實境產品帶56虛擬現實環境的建立虛擬實境環境輸入接口位置跟蹤數據手套空間球操縱桿話筒頭盔雙筒鏡立體眼鏡顯示設備耳機輸出接口虛擬實境數據庫CAD、音頻、視頻測量建模渲染控制虛擬實境計算機虛擬實境建模語言VRML虛擬現實環境的建立虛擬實境環境輸入接口位置跟蹤數據手套空間57虛擬現實環境建模

虛擬實境的建模過程首先是將CAD的實體模型進行三角形處理，將連續的實體轉為大量三角形構成的表面，以減少虛擬對象的數據量。三角形的數量越多，虛擬對象越逼真，虛擬實境的沉浸感越強。對于需要表現細節的局部，也可以借助照片貼圖的方法，避免數據量過大。虛擬現實環境建模虛擬實境的建模過程首先是將CA58虛擬現實對計算機系統的要求1．幀頻和延遲時間的要求

VR要求高幀頻和快速響應，這是由于其內在的交互性質。

要求的幀頻和延遲一般取決于環境特性。只有慢速運動物體的較靜的環境，可以用幀頻每秒8至10，和0.1秒延遲。如果環境有高速運動的物體，則要求高幀頻（>60Hz）和短延遲。所有情況下，若幀頻低于每秒8幀，則失去三維環境的生動感，若延遲大于0.1秒，則很難操作環境。因此，幀頻必須大于8到10幀/秒,總延遲必須小于0.1秒。虛擬現實對計算機系統的要求1．幀頻和延遲時間的要求

592．計算能力和場景復雜性

虛擬現實仿真的計算問題，是一種時間受限的計算。這是因為顯示的幀頻必須大于8到10幀/秒。于是，在0.1秒內，必須完成一次場景的計算。如果一個顯示的場景中有10,000個三角形（或多邊形），這個數量就反映了場景復雜性。這樣，在每秒進行的10次計算中，就應該計算100,000個三角形（或多邊形）。這表示了計算能力。

若要求更加逼真的仿真效果，就要增加場景復雜性。顯示的場景中有更多的三角形（或多邊形），顯示的效果就更逼真。這就要求更強的計算能力，每秒計算更多的三角形（或多邊形）。反之，如果只能使用能力有限的指定的計算機，則限定了計算能力，也就限定了場景復雜性。每個場景，只能用較少的三角形（或多邊形），產生較粗糙的顯示。這種考慮就是，計算能力和場景復雜性的折衷。

對計算機，主要的技術指標就是其計算能力，也就是每秒計算的三角形（或多邊形）的數目。應該注意，是否加紋理，是否反走樣，采用哪一種明暗模型，都會影響到計算能力。加入這些復雜的功能，就會增加計算復雜性，從而減少每秒計算的三角形（或多邊形）的數目。

2．計算能力和場景復雜性

602500個三角形33個三角形600個三角形134754個三角形虛擬現實環境建模汽車前儀表蓋三角形較少的模型三角形較多的模型貼上儀表盤照片2500個三角形33個三角形600個三角形134754個三角61方向盤的CAD模型三角形較多的模型三角形較少的模型虛擬實境的模型虛擬現實環境建模方向盤的CAD模型三角形較多的模型三角形較少的模型虛62虛擬現實環境設備位置輸入裝置的用途是：操縱和控制虛擬對象的位置。將用戶的位置與虛擬實境交互。位置輸入裝置的主要類型：空間球（6自由度立體鼠標）。操縱桿（力反饋或沒有力反饋）。超聲波或光學位置跟蹤器。全身動作跟蹤服。位置輸入裝置虛擬現實環境設備位置輸入裝置的用途是：位置輸入裝置63虛擬現實環境設備虛擬對象有6個自由度空間球具有磁性位置跟蹤的立體鼠標單柄操縱桿具有力反饋的操縱桿攝像機攝像機兩極發光管指向標兩極發光管天花板帶傳感器的頭盔超聲波發生器超聲波接收器位置控制器虛擬實境計算機光學位置跟蹤器傳感器激光掃描儀傳感器位置信號發射裝置傳感器全身動作跟蹤服（20個傳感器）虛擬現實環境設備虛擬對象有空間球具有磁性位置跟蹤的立體鼠標單64虛擬現實環境設備

數據手套既是位置輸入裝置，也是觸覺輸入裝置，它將“虛擬手”加到虛擬實境場景中去。數據手套

與空間球和操縱桿相比，數據手套擴大了用戶與虛擬實境交互的活動空間。數據手套的主要類型有：位置和動作數據手套。力反饋數據手套。將用戶手的姿勢轉化成計算機可讀的數據，有測量幾個或全部手指關節的傳感器。有的具有三維傳感器，以跟蹤用戶腕部的運動虛擬現實環境設備數據手套既是位置輸入裝置，也是觸65基于光導衰減有利的光纖手套CyberGrasp數據手套虛擬手數據手套的工作空間信號發射器空間球的工作空間工具欄菜單欄輸出信號2個傳感器/每根手指+手指分合傳感器+手腕轉動傳感器接口電纜接口盒軟接線信號轉換軟手套虛擬現實環境設備基于光導衰減有利的光纖手套CyberGrasp數據手套虛擬手66虛擬現實環境設備頭盔和雙筒鏡頭盔(HMD-HeadMountedDisplay)和雙筒鏡(BOOM)是個人用戶的虛擬實境顯示裝置，使用方便，價格便宜。頭盔的缺點是頭部負重和不舒適感，頭盔分專業（帶位置跟蹤）和普通（不帶位置跟蹤）。雙筒鏡與觀景望遠鏡相似，缺點是視覺范圍有限，觀看時需要不斷移動，分手持和座式。在頭盔或雙筒鏡兩側有兩個小型液晶顯示器，通過光學系統在用戶眼前生成虛擬實境場景。虛擬現實環境設備頭盔和雙筒鏡頭盔(HMD-HeadMoun67虛擬現實環境設備虛擬現實環境設備68單通道虛擬實境系統HMD控制器HMD控制器虛擬實境計算機虛擬實境計算機RGB-NTSC轉換器圖形卡圖形卡圖形卡場景計算左眼計算右眼計算HMD位置跟蹤位置跟蹤接收器頭圍調節多通道虛擬實境系統顯示器立體聲耳機位置跟蹤接收器頭圍調節瞳距調節場景顯示虛擬現實環境設備單通道虛擬實境系統HMDHMD虛擬實境計算機虛擬實境計算機R69虛擬現實環境設備虛擬桌面和虛擬幕墻

大屏幕的虛擬桌面（ImmersaDesk）和虛擬幕墻(PowerWall）是可供多人觀看虛擬實境的顯示裝置。虛擬桌面一般采用一個CRT、LCD或DLP投影儀，通過反射鏡投射到屏幕。大型虛擬幕墻采用多個CRT或DLP投影儀，從背面投射，布滿整個墻面，可供數十人觀看。觀看時用戶需要戴上立體眼鏡。虛擬現實環境設備虛擬桌面和虛擬幕墻大屏幕的虛擬70投影儀反射鏡顯示屏虛擬幕墻虛擬現實環境設備投影儀反射鏡顯示屏虛擬幕墻虛擬現實環境設備71虛擬現實環境設備CAVE虛擬環境CAVE是計算機自動虛擬環境的縮寫，（ComputerAutomatedVirtualEnvironment--CAVE）。

在3m3m2.7m的空間中，前面和左右側面場景采用3個大屏幕投影儀通過反射鏡投射或直接從背面投射，地面場景借助屋頂上的投影儀通過反射鏡投射。使用者戴上立體眼鏡觀看場景、借助數據手套對目標進行交互、利用位置跟蹤器和空間操縱桿進行操作。

CAVE已經在重大產品開發、建筑設計、軍事和體育訓練、科學研究等許多領域獲得應用。虛擬現實環境設備CAVE虛擬環境CAVE是72CAVE（六面）示意圖虛擬現實環境設備地面投影儀右側投影儀左側投影儀前景投影儀CAVE（六面）示意圖虛擬現實環境設備地面投影儀右側投影儀73雙筒顯示器數據手套“駕駛”虛擬的汽車虛擬現實環境應用雙筒顯示器數據手套“駕駛”虛擬的汽車虛擬現實環境應用74虛擬現實環境應用虛擬現實環境應用75虛擬現實環境應用虛擬現實環境應用76虛擬現實環境應用網格虛擬實現環境

普及虛擬實現技術，首先遇到投資問題，高端和低端的投資差別很大，從幾萬到幾千萬。

網格計算（GridComputing）是新一代的互聯網，可提供強大的圖形交互和處理能力。

借助網格，可以將在不同地點的虛擬實境設備連接在一起，實現資源共享。

例如甲地有CAVE，乙地有頭盔，丙地有雙筒鏡，借助網格，乙地和丙地也可進入CAVE。虛擬現實環境應用網格虛擬實現環境普及虛擬實現77虛擬現實環境應用共享的虛擬實境場景虛擬現實環境應用共享的虛擬實境場景78虛擬現實環境應用虛擬現實環境應用79虛擬現實的建模和仿真技術

虛擬現實的幾何建模技術

虛擬現實的物理建模技術

虛擬現實仿真的動畫技術

虛擬現實的建模和仿真技術

虛擬現實的幾何建模技術

80環境模型的表示

建模是VR的核心,它定義物體的形式、屬性和外觀。多模式VR的一個重要的技術難點是設計開發物體表示、仿真和繪制(RSR)技術。它支持實時與VR的視聽觸覺交互。RSR處理有兩個主要途徑。人工的幾何建模方法

建立詳細的三維幾何模型的要求是來自計算機輔助設計(CAD)，計算機圖形學，和其它領域。幾何建模是活躍的科學和工業研究領域，已經可以得到大量的商業建模系統。盡管有豐富的工具，還是把建模看成繁重的任務。有關的因素是建模緩慢，用戶接口不便，不靈活，以及模型規定在低層次。這些困難的表現是多數實驗室和商業動畫公司寧愿使用自制建模工具，或在某些情況用自制建模工具與市場銷售建模工具的混合。

自動的幾何建模方法

三維掃描儀（3DimensionalScanner）又稱為三維數字化儀（3DimensionalDigitizer）。它是當前使用的對實際物體三維建模的重要工具。它能快速方便的將真實世界的立體彩色信息轉換為計算機能直接處理的數字信號，為實物數字化提供了有效的手段。

環境模型的表示81虛擬現實幾何建模得到的建筑物場景

虛擬現實幾何建模得到的建筑物場景82虛擬現實的物理建模技術為了使VR可靠，并把用戶定位在其中，虛擬物體(包括用戶的圖像)必須象真的一樣。至少固體不應彼此穿過，物體在被推拉抓取時應按予期方式運動。VR的物理屬性往往用微分方程來描述，它構成動力學系統。這種動力學系統由系統分析和系統仿真來研究。系統仿真實際上就是動力學系統的物理仿真。

虛擬現實的物理建模技術為了使VR可靠，并把用戶83經典力學的仿真廣泛用于幫助工程設計和分析。雖然這些傳統仿真提供屬性的數值規律，但還沒有滿足VR要求。在工程實踐中，仿真是長的推理活動。工程師一般花很多時間手工開發系統的數學模型。模型再轉換成仿真軟件和參數選擇。這樣仿真才能運行。在進行設計時，初始方程必須修改，并重新運行仿真。

與此對比，VR的力學仿真必須可靠地、無縫地、自動地、實時地運行。在世界建模的范圍內，任何可能發生的情況必須正確處理。近年來，計算機圖形的研究開始涉及這類仿真提出的問題，這稱為基于物理的建模。下面綜述現有的技術。

經典力學的仿真廣泛用于幫助工程設計和分析。雖然84基于物理模型的動畫技術，盡管比傳統動畫技術的計算復雜性高，但能逼真地模擬自然物理現象。基于物理模型的動畫，大致可分為三類，剛體運動模擬、塑性物體變形運動模擬、流體運動模擬。基于物理模型的動畫技術，盡管比傳統動畫技術的計85虛擬現實仿真的動畫技術VR中物體的動態，也就是數值的動態。可以由兩種方法實現這種數值的動態。

之一是基于數值插值的動畫方法，它可以得到物體的動態。例如虛擬人體的步行，可以由插值實現動畫。下面介紹幾種插值方法。

之二是基于物理的運動方程，由方程數值解可得到物體的動態。例如球的自由下落。下面也將介紹基于動力學方程的系統仿真方法。1、插值方法2、過程動畫虛擬現實仿真的動畫技術VR中物體的動態，也就是86用插值方法得到的虛擬現實場景

用插值方法得到的虛擬現實場景87過程動畫

過程動畫是用過程來描述動畫中物體的運動或變形。簡單的過程動畫，用一個數學模型描述。另一類過程動畫，采用特殊方法，如粒子系統和群體運動。1、粒子系統過程動畫過程動畫是用過程來描述動畫中物體的運882、動力學方程的系統仿真

系統仿真技術是解決虛擬環境中物體動態行為的動力學方法，所以系統仿真是虛擬現實的基礎技術之一。系統仿真技術往往承擔大型仿真任務，如武器系統的仿真。在大型仿真任務中，虛擬現實技術是仿真可視化和人機交互的先進工具。所以，虛擬現實和系統仿真是緊密相關和相輔相成的兩個領域。

用動力學方程的系統仿真得到的虛擬現實場景2、動力學方程的系統仿真系統仿真技術是89虛擬現實技術

4.1虛擬現實的特征及基本構成4.2虛擬現實技術的發展概況4.3位置跟蹤通道4.4視覺通道4.5聽覺通道4.6觸覺、力反饋4.7虛擬場景的生成

虛擬現實技術4.1虛擬現實的特征及基本構成90虛擬現實技術

4.1虛擬現實的特征及基本構成4.2虛擬現實技術的發展概況4.3位置跟蹤通道4.4視覺通道4.5聽覺通道4.6觸覺、力反饋4.7虛擬場景的生成

虛擬現實技術4.1虛擬現實的特征及基本構成91虛擬現實的基本概念

1989年，美國VPLResearch公司創始人JaronLanier提出了"VirtualReality"（虛擬現實）的概念。在這里，"Reality"的含義是現實的世界，或現實的環境。所以，"VirtualReality"（虛擬現實）的另一個名稱是"VirtualEnvironment"（虛擬環境）。"Virtual"說明，這個世界或環境是虛擬的，不是真實的。這個世界或環境是人工構造的，是存在于計算機內部的。用戶應該能夠"進入"這個虛擬的環境中。所謂"進入"這個虛擬的環境中，是指用戶以自然的方式與這個環境交互（包括感知環境并干預環境），從而產生置身于相應的真實環境中的虛幻感，身臨其境的感覺。

虛擬現實的基本概念1989年，美國VPLRe92"VirtualReality"（虛擬現實）或"VirtualEnvironment"（虛擬環境）是人工構造的，存在于計算機內部的環境。用戶應該能夠以自然的方式與這個環境交互（包括感知環境并干預環境），從而產生置身于相應的真實環境中的虛幻感，沉浸感，身臨其境的感覺。

虛擬環境(VirtualEnvironment，VE)系統或虛擬現實(VirtualReality，VR)系統包括人類操作者、人機接口和計算機。"VirtualReality"（虛擬現93

虛擬現實系統應用最多的專用設備是頭盔式立體顯示器和數據手套。于是，有人以使用這些專用設備為虛擬現實系統的標志。這種觀點是不準確的。上述的虛擬現實的概念，是在計算機應用和人機交互方面開創的全新的學科領域。這個新領域的發展，還有很多困難，有很多技術難點有待解決。當前，這一領域還只是走出了第一步。頭盔式立體顯示器和數據手套等設備，只是當前已經實現的一部分虛擬顯示設備。它們還很不完善。例如，頭盔的視場，分辨率，造成眩暈等問題還有待解決。聽覺接口和力覺接口等設備還在研究，應用還不多。味覺，嗅覺，運動覺等技術，還缺乏研究。

虛擬現實系統應用最多的專用設備是頭盔式立體顯示94虛擬現實技術

虛擬現實技術95虛擬現實系統中的虛擬環境，可能有下列幾種情況。

第一種情況是模仿真實世界中的環境。例如，建筑物，武器系統，或戰場環境。這種真實環境，可能是已經存在的，也可能是已經設計好但還沒有建成的。為了逼真地模仿真實世界中的環境，要求逼真地建立幾何模型和物理模型。環境的動態應符合物理規律。這一類虛擬現實系統的功能，實際是系統仿真。

第二種情況是人類主觀構造的環境。例如，用于影視制作或電子游戲的三維動畫。環境是虛構的，幾何模型和物理模型就可以完全虛構。這時，系統的動畫技術常用插值方法。

第三種情況是模仿真實世界中的人類不可見的環境。例如，分子的結構，空氣中速度、溫度、壓力的分布等。這種真實環境，是客觀存在的，但是人類的視覺和聽覺不能感覺到。對于分子結構這類微觀環境，進行放大尺度的模仿，使人能看到。對于空氣中速度這類不可見的物理量，可以用流線顯示速度（流線方向表示速度方向，流線密度表示速度大小）。這一類虛擬現實系統的功能，實際是科學可視化。

由此可見，虛擬現實技術可以用于系統仿真、科學可視化、三維動畫等領域。

虛擬現實系統中的虛擬環境，可能有下列幾種情況。

96第一種情況第一種情況97第二種情況第二種情況98虛擬現實的特點

基于虛擬現實的基本概念，可以得到虛擬現實的下列三個特點。

1．計算機提供“環境”,不是“數據,信息”。這改變了人機接口的內容。

2．操作者由視覺,聽覺,力覺感知環境,由自然的動作操作環境,不是由屏幕,鍵盤,鼠標和計算機交互。這改變了人機接口的形式。

3．逼真的感知和自然的動作，使人產生身臨其境的感覺。這改變了人機接口的效果。虛擬現實的特點基于虛擬現實的基本概念，可以得99

第一個特點體現了計算機應用的新方向。計算機的名稱體現了，它的最早應用是計算。當時，計算機和用戶交互的是計算有關的數值。此后，計算機擴大到處理數值，字符串，文本等各類數據。以后，計算機更擴大到處理圖像，圖形，聲音，語言等多種媒體的信息。虛擬現實系統則以環境為計算機處理的對象和人機交互的內容。這開拓了計算機應用的新思路。

第二個特點體現了計算機人機接口的新方向。至今為止的計算機人機接口都是面向機器的。終端，鍵盤，鼠標，打印機等接口設備，都是適應計算機的專用設備。這些設備很好地完成了各類數據和多媒體信息的交互。虛擬現實中的人機接口，則是面向用戶的。虛擬現實系統中，用戶以自然的方式與虛擬環境交互。所謂自然的方式，是指用戶通過視覺，聽覺，觸覺等感覺虛擬環境，使用戶產生在真實環境中的幻覺。同時，用戶通過在真實環境中的行為，去干預虛擬環境。于是，虛擬現實的人機接口設備，完全不同于現有計算機的人機接口設備。這也是虛擬現實技術中最有特色的內容。

第三個特點體現了計算機人機接口的新要求。用戶通過人機接口與虛擬環境交互的結果，是使用戶產生身臨其境的虛幻感，沉浸感。

第一個特點體現了計算機應用的新方向。計算機的名100虛擬現實的應用領域1．娛樂

2．國防

3．設計、制造和銷售

4．醫療和健康

5．危險操作

6．訓練

7．教育

8．信息可視化

9．遠程交往與遠程游歷

虛擬現實的應用領域1．娛樂

2．國防

101虛擬現實技術

1．VR的人機接口

2．VR的計算機系統

3．VR的建模和仿真

虛擬現實技術1．VR的人機接口

1021．VR的人機接口

VR的人機接口有兩個作用：其一是給人類操作者提供環境信息（視覺、聽覺和觸覺），其二是感覺人類操作者的動作和響應（位置跟蹤和映射）。前者包括：視覺通道、聽覺通道、觸覺通道、運動接口和其他接口。后者包括：位置跟蹤和映射，語音識別等。

（1）位置跟蹤和映射

位置跟蹤和映射用于測量人體各部位的位置和姿態，分析判斷人面部的表情。它的目的是了解人的身體行為。這是為了實現人機交互所必需的系統功能。VR系統由此了解人的行為，然后做出適當的響應，實現交互。

常用的技術包括：機械鏈接、磁傳感器、聲傳感器、光傳感器和慣性傳感器。基本目標是精確完成位置和姿態的測量。三個主要的要求：大范圍的線性響應，高帶寬（1kHz），以及允許頭和身體的運動。

（2）視覺通道

視覺通道給人的視覺系統提供圖形顯示。為了提供身臨其境的逼真感覺，視覺通道應該滿足一些要求。顯示的像素應該足夠小，使人不至感覺到像素的不連續。顯示的頻率應該足夠高，使人不至感覺到畫面的不連續。給兩眼提供具有雙目視差的圖形，形成立體視覺。應該具有足夠大的視場，理想情況是顯示畫面充滿整個視場。

視覺通道的顯示表面分為：基于CRT和基于LCD。視覺通道的光學系統分為：頭盔顯示(HMD)和非頭盔顯示(OHD)。

1．VR的人機接口

VR的人機接口有兩個作用：其一是給人103專用頭盔圖專用頭盔圖104

（3）聽覺通道

聽覺通道給人的聽覺系統提供聲音顯示。為了提供身臨其境的逼真感覺，聽覺通道應該滿足一些要求，使人感覺置身于立體的聲場之中，能識別聲音的類型和強度，能判定聲源的位置。

聽覺通道的關鍵技術包括：合成由接口提供的虛擬聲音信號，聲音在虛擬空間定位問題，以及發聲設備。

（4）觸覺通道

觸覺通道給人體表面提供觸覺和力覺。當人體在虛擬空間中運動時，如果接觸到虛擬物體，虛擬顯示系統應該給人提供這種觸覺和力覺。

觸覺通道涉及操作以及感覺，包括觸覺反饋和力覺反饋。觸覺通道的結構分為：安在身體上和安在地面的設備。

（3）聽覺通道

聽覺通道給人的聽覺系統提供聲音105

（5）運動接口

人體在環境中的運動包括：身體的被動運動(被動移動，如在車上的運動)，身體主動運動（漫游，如散步）。人在運動中，人體內部的運動感覺器官可以感知運動信息。

感知運動信息的器官包含：前庭系統，運動系統，視覺聽覺系統，本體感受，動覺和觸覺。運動接口應該給這些器官提供運動信息。

（6）其它類型接口

其它類型接口包括：嗅覺、味覺通道，以及感覺熱、風及濕度的接口。還包括語音通訊（語音識別與合成）以及直接心理感覺和控制。這些接口還缺乏研究，以下將不介紹。（5）運動接口

人體在環境中的運動包括：身體的被動106

2．VR的計算機系統

現有的虛擬顯示系統主要考慮視覺通道。聽覺通道和觸覺通道還處于研究階段。所以，VR的計算機系統主要考慮視覺通道的要求。

（1）硬件

視覺通道對計算機系統的要求，首先是要求維持足夠的圖形幀速率。于是要求在指定的時間內（約為0.1秒）計算出兩眼的兩幅圖像。同時要求提供足夠好質量的圖像，這一般體現在圖像中顯示的多邊形或三角形的樹木。因此，往往需要專用硬件。圖形硬件應提供快速幾何變換、截取、消隱、多邊形填充和表面紋理。

（2）軟件

VR系統中的軟件主要包括下列幾種。交互軟件利用人機控制設備的輸出去修改VE。視覺漫游軟件控制用戶在VE中運動時看到的場景。建模軟件定義虛擬物體形狀、外觀和屬性的模型。操作系統支持VE的實時多模態要求。

（3）網絡

分布式交互仿真已經成為現代仿真技術，特別是軍事仿真的潮流。通訊網絡可以把VE轉換成共享的分布式計算環境。2．VR的計算機系統

1073．VR的建模和仿真

（1）建模

建模包括：幾何建模和物理建模。一般的VR工具軟件都具有幾何建模功能。利用現有的CAD建模工具也是常用的方法。市場上已有商業模型庫出售。對實際物體的建模，則采用激光掃描等專用設備。物理建模是基于物理方程的建模。一般考慮剛體建模，鏈接物體的建模，以及非剛體的建模。智能體的建模不是基于物理方程，而是基于人為的物體智能。

人工建模技術在圖形學和CAD領域，已有成熟的成果。自動建模采用激光掃描建立幾何模型，也已經有相關產品。自動建立物理模型的研究還不多。

3．VR的建模和仿真

（1）建模

建模包括：幾何建模和108

（2）仿真

仿真包括：圖形繪制和三維動畫。

圖形繪制是把三維環境，相對于虛擬攝像機（虛擬視點）投影，形成圖像的過程。為了提供連續運動的錯覺，幀速率必須大于每秒8到10幀。為了保持瞬間交互控制的錯覺，響應時間的延遲必須小于0.1秒。為了繪制人眼可分辨的所有細節，這要求有8千萬個多邊形。這是對于圖形繪制的要求。

然而，用今天的硬件，每個畫面8千萬多邊形的系統對真正的實時交互是太慢了，于是存在真實圖像與實時交互間的折衷。某些應用（如建筑和藝術）可能要求照片一樣真實的繪制。制造和醫療應用要求更高層次的實時交互。

三維動畫可以用兩種途徑實現。基于物理模型的數值計算是一種方法。軍事和工業等應用，往往要求這種滿足物理規律的仿真技術。數學插值則是另一種實現動畫的方法。這種技術在三維動畫電影中獲得了巨大的成功。

下圖表示，虛擬現實開發系統的方塊圖。用戶通過輸入輸出設備與輸入輸出軟件交互。輸入軟件通過形狀編輯器完成幾何建模，通過聲音編輯器完成虛擬聲音系統建模。然后，在世界編輯器完成虛擬環境的建模。其中的虛擬剪切器，用于模型的剪切。建立的模型，保存在虛擬世界中。整個工作在計算機系統中完成。

（2）仿真

109虛擬制造技術虛擬現實技術110虛擬現實的接口設備

位姿傳感器

視覺顯示

聽覺顯示

力覺和觸覺顯示

虛擬現實的接口設備

位姿傳感器

1111．位姿傳感器的要求

機器人、生物學、建筑、CAD、教育等應用領域，都要求知道運動物體實時的位置和方向。虛擬現實系統則要求知道人體各部分實時的位置和方向。

（1）3-D空間中的運動的剛體具有三個平移（沿著X、Y和Z軸）和三個轉動（偏航、俯仰和滾動）。

（2）在物體以高速運動時，應該足夠快地測出這六個數值。

（3）3-D測量不應妨礙物體運動。非接觸式測量（低頻磁場、超聲、雷達、紅外攝像和LED等）已經代替機械臂等接觸式測量。

（4）3-D傳感器都具有一些共同的參數。

位姿跟蹤常用的性能參數有：精度，分辨率，采樣率，執行時間，范圍，工作空間，價格，障礙，方便，對模糊的敏感，容易校準，同時測量的數目，方向相對位置跟蹤。1．位姿傳感器的要求

機器人、生物學、建筑、CAD、教育112

（5）人體并非剛體。上述六個數值只能描述人體整體的運動，人體各部分之間的相對運動也應該測量。

（6）位姿跟蹤和映射是VE系統的基本要求。常用的要求包括：

（a）視覺顯示對頭和眼的跟蹤；

（b）觸覺接口對手和臂的跟蹤；

（c）視覺顯示對身體的跟蹤；

（d）面部表情識別、虛擬衣服和醫用遙控機器人的映射；

（e）建立數字化幾何模型的環境映射。

（7）一種工作方式（“流動”方式）中，傳感器數據連續送給主計算機。這最適于快速運動的物體。但是這加重了通信線路的負擔。如果要求以30個畫面/秒的速率重復計算，則每33毫秒要畫出一個畫面。9600波特率的串行口要花費12毫秒傳送6個數的一組數據（每個數有16bit）。因此，僅僅通信就要花費33毫秒的36%。

另一種工作方式（“請求”方式）中，當主計算機請求時，才傳送一組的6個數。其它時間不讀傳感器數據，于是總體畫面更新時間中的通信時間部分就下降了。

（8）

用于位姿跟蹤和映射的基本傳感系統有：

機械鏈接，磁傳感器，光傳感器，聲傳感器和慣性傳感器。

（5）人體并非剛體。上述六個數值只能描述人體整體的運動，1132．各種位姿跟蹤器的比較如下：2．各種位姿跟蹤器的比較如下：1143．研究要求

一般，位置跟蹤器要求合適的性能和合理的價格。對肢體跟蹤，某些光學傳感器是精確快速的，但對日常應用太貴（在5萬到10萬美元范圍），特別是為了防止阻擋和增加工作空間而加倍安裝時。

肢體跟蹤的任何傳感系統難以識別可靠的基準點，這是由于人體組織和衣服的柔軟性。

為了得到關節角，必須使用某些校準過程，在肢體上建立坐標系。此后的關節角計算將接近真實的生物機械角。

對整個人體跟蹤，工作空間大小是重要問題。應該能在足夠大的空間跟蹤運動人體，并且不會損失分辨率，不必擔心遮擋。被跟蹤的人應能在建筑中由一個房間走到另一個房間。如果人體所有主要部分都被跟蹤，則要求安裝某些東西在人體上（反光器，標記，測角器）的傳感系統，不如掃描人體的系統有吸引力。

對人體和環境表面映射，某些激光跟蹤器是精確而快速的，但還較貴。VE的長期目標是高精度實時跟蹤人體的光學映射系統。這可能是用自然光或主動激光掃描的立體視覺系統。

測量方法是在選擇位置跟蹤方法時最易混淆的一個問題，問題是性能指標的含義及測量方法之間的不一致。應建立標準，指出怎樣測精度、分辨率、等待時間、帶寬、敏感干擾、和起伏。測量設備應商品化，應建立獨立的實驗室，使用戶不至依賴廠家指標，而是了解真實性能。

3．研究要求

115機械式傳感器

1．原理：

機械式傳感器可分兩類：

"安在身體上的"機械跟蹤器中，機械全部安在身上。

"安在地面上的"機械跟蹤器中，機械部分安在地面。

2．機械式傳感器的優缺點：

機械式傳感器：是便宜的，比較精確。可以測量整個身體運動，沒有延遲。可以同時實現力反饋。但妨礙身體運動機械式傳感器1．原理：

機械式傳感器可分兩類：

"安在116（1）測角器（"安在身體上的"機械跟蹤器）

（2）安在地面上的鏈接

3-D探頭

（1）測角器（"安在身體上的"機械跟蹤器）

（2）安在地面上117傳感手套是為滿足上述要求而設計的虛擬現實工具。商業化的產品有VPL公司的DataGlove，Vertex的CyberGlove，Mattel的PowerGlove，和ExosDextrousHandMaster。它們都用傳感器測量全部或部分手指關節的角度。某些傳感手套還用3-D傳感器跟蹤用戶手腕的運動。手套的工作區大于跟蹤球和手柄（探頭）的工作區。

下圖表示，人手指的各種運動。傳感手套是為滿足上述要求而設計的虛擬現實工具。118把原始的傳感器讀數變成手指關節角的過程稱為手套校準。每當開始一次新的仿真，戴上數據手套時，都必須重新作校準。這是因為不可能知道是否用戶把手套松緊合適地戴在手指上。

下圖表示，數據手套DataGlove的結構。

把原始的傳感器讀數變成手指關節角的過程稱為手套119虛擬制造技術虛擬現實技術120電磁傳感器

電磁傳感器測量頭，手，其他設備的位姿。測量三個坐標，以及三個姿態角度。下圖表示，電磁傳感器用于測量頭盔的位姿。輕便的電磁接受器部分安裝在頭盔上，電磁發射器安裝在地面。電磁傳感器電磁傳感器測量頭，手，其他設備的位121超聲傳感器超聲傳感器同樣測量頭，手，其他設備的位姿。測量三個坐標，以及三個姿態角度。

下圖表示使用超聲傳感器的示意圖。在用戶頭部前額上的正三角形架子上安裝了三個超聲接受器，另一個大的正三角形架子上安裝了三個超聲發射器。

超聲傳感器超聲傳感器同樣測量頭，手，其他設備的122視覺顯示

理想的視覺顯示與日常經歷中的場景對比，在質量、修改率和范圍方面應該是無法區分的。但是當前的技術還不支持這種高真實度的視覺顯示，而且也不清楚是否多數應用要求這種高真實度。對任何給定的應用，必須認真評價各種顯示特性的重要性，這包括視覺特性（視場、分辨率、亮度、對比和彩色），人類工程學，安全，可靠和價格。視覺顯示的基本要求是提供立體視覺。

對虛擬現實（VR），最常用的技術成熟的顯示類型是陰極射線管（CRT）和背光液晶顯示（LCD）。雖然這些技術對近期的虛擬現實應用是很有用的，但幾個缺點卻妨礙其長期的發展。

1．CRT類顯示

2．LCD類顯示

視覺顯示理想的視覺顯示與日常經歷中的場景對比，123

CRT技術是多年來在電視機和計算機監視器上廣泛應用的成熟技術。CRT技術能給頭盔顯示器提供小的高分辨率高亮度的單色顯示。但這些CRT較重，并把高電壓放在人頭部上的設備中。此外，開發小型高分辨率高亮度彩色CRT是困難的。在頭盔顯示中，要求笨重的光學設備形成高質量圖像。

組合的技術途徑可產生高質量彩色圖像，并減少重量和價格。近期的途徑是把高質量彩色的基于CRT的HMD（頭盔顯示器）引入市場，它使用了加于單色CRT的機械電子彩色濾光技術。這種途徑中，CRT以三倍正常速率掃描，并依次加上紅、綠、蘭三色的濾光器。

CRT技術是多年來在電視機和計算機監視器上廣泛124

LCD技術以低電壓產生彩色圖像，但只具有很低的圖像元密度。在頭盔顯示中，也要求笨重的光學設備形成高質量圖像。

市場出售的頭盔式顯示器幾乎全部依靠TV（電視機）質量的液晶顯示。在VR和遙操作領域，不要求大區域顯示。只要求緊湊的輕便的高分辨率顯示。LCD顯示器有待提高其分辨率。LCD技術以低電壓產生彩色圖像，但只具有很低的1253．VRD類顯示與基于CRT或LCD的顯示器不同的工作是在華盛頓大學人類接口接術（HIT）實驗室。HIT實驗室正研究基于激光微掃描技術的顯示VRD，它用微型固體激光器掃描視網膜上的彩色圖像。它的優點是不使用笨重的光學設備，可能開發高分辨率、輕便、低價格顯示系統。但激光微掃描顯示還面對大量技術障礙。

VRD的應用包括用于軍事，頭盔，移動電話，以及醫學上。

3．VRD類顯示與基于CRT或LCD的顯示器不126下圖表示，VRD的顯示設備用于頭盔顯示器。

下圖表示，VRD的顯示設備用于頭盔顯示器。127未來的VRD的頭盔顯示器

未來的VRD的頭盔顯示器128視覺顯示的產品幾種基于LCD的頭盔產品視覺顯示的產品幾種基于LCD的頭盔產品129視覺顯示的產品基于CRT的頭盔產品

視覺顯示的產品基于CRT的頭盔產品130聽覺顯示虛擬環境的聽覺接口應能給兩耳提供一對聲波。

(1)它應有高逼真性，

(2)能以預訂方式改變波形，作為聽者各種屬性和輸出的函數(包括頭部位姿變化