1、及其發(fā)展1，(100876)增強(qiáng)現(xiàn)實(shí)裝配宋，郵電大學(xué)自動(dòng)化學(xué)院，：sjz2008摘 要： 增強(qiáng)現(xiàn)實(shí)裝配技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)在設(shè)計(jì)與領(lǐng)域的重要應(yīng)用之一，已引起工業(yè)界和研究機(jī)構(gòu)越來越廣泛的重視。分析了增強(qiáng)現(xiàn)實(shí)裝配裝技術(shù)的國(guó)外研究現(xiàn)狀，對(duì)增強(qiáng)現(xiàn)實(shí)裝配中虛實(shí)對(duì)象的相互作用機(jī)制、深度感知、碰撞感知等進(jìn)行了綜述；在此；指出了目前增基礎(chǔ)上，給出了一個(gè)增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)的體系結(jié)構(gòu)及其相關(guān)技術(shù)的實(shí)現(xiàn)強(qiáng)裝配技術(shù)研究中的問題以及其發(fā)展方向。： 裝配；增強(qiáng)現(xiàn)實(shí)；碰撞檢測(cè)；深度感知號(hào)：TP391.7; TP391.91引言利用虛擬環(huán)境進(jìn)行裝配，可以使用戶以模擬實(shí)際裝配操作的方式建立的裝配序列和裝配路徑，經(jīng)過可視化和可感知的

2、評(píng)價(jià)分析，得到合理、適用的裝配工藝。然而，完全基于3D環(huán)境的純虛擬裝配系統(tǒng)，缺少直接的感覺反饋通道，只能給用戶以有限的“現(xiàn)實(shí)”體驗(yàn)，同時(shí)需要消耗大量的計(jì)算資源，難以適應(yīng)復(fù)雜裝配等環(huán)境下的復(fù)雜建模、實(shí)時(shí)交互等要求，混合真實(shí)物體（如物理樣機(jī)、零件、工具等）與虛擬設(shè)計(jì)對(duì)象的增強(qiáng)裝配技術(shù)則能避免上述問題。增強(qiáng)現(xiàn)實(shí)裝配技術(shù)為用戶提供了一個(gè)虛實(shí)對(duì)象相互融合的混合現(xiàn)實(shí)界面，人們可以同時(shí)與真實(shí)物體和虛擬物體交互，大大提高了其對(duì)周圍真實(shí)環(huán)境的直接感知。在增強(qiáng)環(huán)境中，設(shè)計(jì)者可以利用已有的物理樣機(jī)，只對(duì)需要更改設(shè)計(jì)的零件進(jìn)行虛擬設(shè)計(jì)和評(píng)價(jià)，同時(shí)避免了裝配工作空間、可變形物體等難以完全定義的復(fù)雜對(duì)象的虛擬建模，從而實(shí)

3、現(xiàn)的快速研發(fā)。它所具有的“虛”、“實(shí)”結(jié)合的特點(diǎn)，在數(shù)字化設(shè)計(jì)、裝配規(guī)劃、維修等應(yīng)用領(lǐng)域極具發(fā)展?jié)摿Α＃壳皩W(xué)術(shù)界對(duì)增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)的研究還處于起步階段1。對(duì)增強(qiáng)現(xiàn)實(shí)裝配環(huán)境的研究，目前大多直接采用虛擬裝配系統(tǒng)中以單一碰撞檢測(cè)為中心的響應(yīng)、集中處理的系統(tǒng)運(yùn)行機(jī)制2,3，大量的研究工作主要集中在增強(qiáng)現(xiàn)實(shí)環(huán)境下的虛實(shí)等基本問題上4-6，對(duì)增強(qiáng)現(xiàn)實(shí)裝配應(yīng)用研究中的虛實(shí)物體相互作用機(jī)制與等新問題的研究較少。基于碰撞檢測(cè)的集中響應(yīng)處理機(jī)制，它根據(jù)虛擬環(huán)境中的來激活虛擬對(duì)象的行為代碼，其算法復(fù)雜度高，且系統(tǒng)無法理解人的交互意圖，環(huán)境感知能力較弱。而且還可能由于設(shè)計(jì)參數(shù)的不當(dāng)導(dǎo)致整個(gè)裝配過程無法進(jìn)行下去或因

4、裝配場(chǎng)景的高度復(fù)雜性使系統(tǒng)的運(yùn)行無法達(dá)到實(shí)時(shí)7。此外，在增強(qiáng)現(xiàn)實(shí)環(huán)境下，真實(shí)物體與虛擬物體的碰撞感知、深度計(jì)算與遮擋判定等也都是增強(qiáng)現(xiàn)實(shí)裝配環(huán)境系統(tǒng)需要解決的關(guān)鍵共性問題8 9。本文首先對(duì)增強(qiáng)現(xiàn)實(shí)裝配裝技術(shù)的國(guó)外研究現(xiàn)狀進(jìn)行了簡(jiǎn)要的分析,然后對(duì)增強(qiáng)現(xiàn)實(shí)裝配中虛實(shí)對(duì)象的相互作用機(jī)制、深度感知、碰撞感知等進(jìn)行了綜述；并在此基礎(chǔ)上，給出了一個(gè)增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)的體系結(jié)構(gòu)及其相關(guān)技術(shù)的實(shí)現(xiàn)，最后指出了增強(qiáng)裝配的不足及其發(fā)展方向。2國(guó)內(nèi)外研究現(xiàn)狀分析增強(qiáng)現(xiàn)實(shí)裝配是增強(qiáng)現(xiàn)實(shí)技術(shù)的典型應(yīng)用之一，其中有最有代表性的研究工作之一是波1本課題得到高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（項(xiàng)目編號(hào)：200800131026）的

5、資助。-1-音公司的機(jī)上接線器和纜線的增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)10。近年來，新加坡國(guó)立大學(xué)、芬蘭 VTT技術(shù)研究中心、德國(guó) Fraunhofer IGD 計(jì)算機(jī)圖形學(xué)院等究。新加坡國(guó)立大學(xué) Y.Pang 和 A.Y.C.Nee 等人研究開發(fā)了一個(gè)面向裝配設(shè)計(jì)、評(píng)價(jià)的增強(qiáng)也展開了增強(qiáng)現(xiàn)實(shí)裝配環(huán)境的研的增強(qiáng)現(xiàn)實(shí)技術(shù)，將真實(shí)零件和來自 CAD 環(huán)境的現(xiàn)實(shí)環(huán)境系統(tǒng)。該系統(tǒng)采用基于虛擬對(duì)象到一個(gè)統(tǒng)一的環(huán)境中進(jìn)行裝配規(guī)劃。系統(tǒng)提供了基于數(shù)據(jù)手套等交互對(duì)虛擬對(duì)象進(jìn)行選擇和操作的功能，采用了基于碰撞檢測(cè)機(jī)制對(duì)裝配過程進(jìn)行，裝配過程設(shè)計(jì)有約束引導(dǎo)，零件的最終精確定位利用“虛擬磁力”來實(shí)現(xiàn)。但目前該系統(tǒng)還沒有深入研究解決

6、增強(qiáng)裝配環(huán)境中虛實(shí)對(duì)象之間的碰撞檢測(cè)與反饋等相互作用問題1。芬蘭 VTT 技術(shù)研究中心在增強(qiáng)現(xiàn)實(shí)應(yīng)用基礎(chǔ)方面展開了深入研究，Charles Woodward教授等人在 2006 年 1 月專門設(shè)立了一個(gè)關(guān)裝配的項(xiàng)目“AugAsse”，其主要目標(biāo)即是研究利用增強(qiáng)現(xiàn)實(shí)技術(shù)提高裝配工作的效率(見圖 1)。圖 1 利用動(dòng)力單元增強(qiáng)拖拉機(jī)附件的裝配在他們最近開發(fā)的一個(gè)增強(qiáng)現(xiàn)實(shí)裝配工作演示系統(tǒng)中，系統(tǒng)主要研究了基于標(biāo)志點(diǎn)的注冊(cè)跟蹤技術(shù)、增強(qiáng)裝配環(huán)境下的手勢(shì)和語音等多通道交互輸入技術(shù)，以及如何利用虛擬物體和可視化裝配指導(dǎo) 為裝配工作提供幫助，但并沒有考慮虛實(shí)物體如何相互交互11。德國(guó) Fraunhofer

7、IGD 計(jì)算機(jī)圖形學(xué)院先后展開了 ARVIKA 項(xiàng)目12和 ARTESAS 項(xiàng)目13的研究，這兩個(gè)項(xiàng)目主要研究增強(qiáng)現(xiàn)實(shí)技術(shù)在開發(fā)、生產(chǎn)和維修服務(wù)等方面的應(yīng)用。他們目前致力于研究基于工業(yè)的直線特征等進(jìn)行無標(biāo)志虛實(shí)物體，并在此技術(shù)基礎(chǔ)上研究如何為裝配師實(shí)時(shí)地提供與正在被裝配對(duì)象相關(guān)聯(lián)的上下文敏感的裝配輔助，提高裝配工作的正確性與效率，從而使汽車、飛機(jī)等復(fù)雜的裝配過程更加高效、優(yōu)化。在國(guó)內(nèi)，作為虛擬現(xiàn)實(shí)技術(shù)的延伸，增強(qiáng)現(xiàn)實(shí)的研究也越來越成為熱點(diǎn)，有代表性的研頭盔顯示器及數(shù)字圓明園項(xiàng)目14, 作系統(tǒng)15，華中科技大學(xué)的基等17，以及最近由浙江大學(xué)牽頭、究理工大學(xué)研制的航空航天大學(xué)機(jī)現(xiàn)實(shí)的車間布 航空航

8、天大學(xué)、聯(lián)合承擔(dān)的 973器人研究所基現(xiàn)實(shí)的局系統(tǒng)16、增強(qiáng)現(xiàn)實(shí)數(shù)控四川大學(xué)、科學(xué)院研究所、大連海事大學(xué)、浙江工商大學(xué)等項(xiàng)目“混合現(xiàn)實(shí)的理論和”，郵電大學(xué)承擔(dān)的 863 項(xiàng)目“基于雙路視覺的研究”等。此外，哈爾濱工業(yè)大學(xué)、上海交通大學(xué)、作增強(qiáng)現(xiàn)實(shí)理工大學(xué)等單位也進(jìn)行了增強(qiáng)現(xiàn)實(shí)技術(shù)在不同應(yīng)用領(lǐng)域的探索性研究工作，并取得了一批研究成果1819。但是,目前國(guó)內(nèi)在增強(qiáng)現(xiàn)實(shí)裝配方面的應(yīng)用研究還較少。從上述分析可以看出，界對(duì)增強(qiáng)現(xiàn)實(shí)裝配環(huán)境系統(tǒng)的研究還處于初始階段，大-2-多數(shù)的研究工作還集中于虛實(shí)等增強(qiáng)現(xiàn)實(shí)基礎(chǔ)問題的解決上，對(duì)增強(qiáng)裝配技術(shù)的應(yīng)用還停留在提供裝配輔助等簡(jiǎn)單應(yīng)用上，現(xiàn)有增強(qiáng)裝配環(huán)境的運(yùn)行還主

9、要基于碰撞檢測(cè)和事件響應(yīng)，缺乏感知機(jī)制和感知能力，無法理解人的交互意圖。對(duì)增強(qiáng)現(xiàn)實(shí)裝配環(huán)境應(yīng)用中的關(guān)鍵共性問題，如虛實(shí)對(duì)象、虛擬對(duì)象或真實(shí)物體之間的相互作用機(jī)制、碰撞檢測(cè)、遮擋深度感知等問題還沒有進(jìn)行深入的研究，目前只有少數(shù)學(xué)者對(duì)這些問題作了初步的研究，下面分別對(duì)其研究狀況論述如下。2.1 增強(qiáng)現(xiàn)實(shí)裝配環(huán)境中的感知機(jī)制裝配環(huán)境的目標(biāo)一是設(shè)計(jì)驗(yàn)證，二是裝配工藝的自動(dòng)生成，要完成這兩個(gè)任務(wù)，首先是要使系統(tǒng)能進(jìn)行方便的 3D 操作，其次應(yīng)使得裝配場(chǎng)景中具有豐富的工程語義。目前多種直接交互的應(yīng)用，豐富了人機(jī)交互的，但人很難使用這些進(jìn)行空間精確定位，導(dǎo)致裝配過程中人的操作負(fù)荷和認(rèn)知負(fù)荷繁重。降低這些負(fù)荷

10、，構(gòu)造一種人機(jī)和諧的裝配環(huán)境系統(tǒng)是裝配的一項(xiàng)重要任務(wù)。裝配場(chǎng)景高度的復(fù)雜性集中表現(xiàn)在裝配對(duì)象的結(jié)構(gòu)復(fù)雜以及對(duì)裝配操作的精確要求上，由于人在空間位置精確計(jì)算方面能力不足，而計(jì)算機(jī)具有極其強(qiáng)大的計(jì)算能力，因此要構(gòu)建人機(jī)和諧的裝配環(huán)境系統(tǒng)，就必須合理分擔(dān)人機(jī)認(rèn)知負(fù)荷，強(qiáng)化裝配環(huán)境的感知能力20。目前已有的裝配環(huán)境系統(tǒng)主要采用碰撞檢測(cè)21、接近感知22、觸覺反饋23等作為輔助裝配。雖然碰撞檢測(cè)是裝配環(huán)境中的一種重要感知過程，但由于裝配場(chǎng)景高度復(fù)雜，單純基于碰撞檢測(cè)的裝配環(huán)境系統(tǒng)往往很難滿足實(shí)時(shí)性需求。因此，建立裝配環(huán)境系統(tǒng)的感知機(jī)制對(duì)解決增強(qiáng)現(xiàn)實(shí)環(huán)境中虛實(shí)對(duì)象的復(fù)雜交互、碰撞檢測(cè)等問題非常必要。關(guān)于這

11、方面的問題，國(guó)內(nèi)研究者裝配原型系統(tǒng)中結(jié)合虛擬裝配環(huán)境下的感知機(jī)制進(jìn)行了構(gòu)造研究，并在其開發(fā)的虛擬箱的裝配過程進(jìn)行了實(shí)驗(yàn)驗(yàn)證，取得了很運(yùn)行效果20。但由現(xiàn)實(shí)裝配環(huán)境中同時(shí)著虛擬物體和真實(shí)物體兩種對(duì)象，這種完全基于虛擬對(duì)象之間的感知機(jī)制和研究。并不適用現(xiàn)實(shí)裝配，對(duì)該問題的解決還需要進(jìn)一步專門展開深入2.2 虛實(shí)對(duì)象遮擋的深度感知在基于的增強(qiáng)裝配環(huán)境系統(tǒng)中，利用攝像機(jī)捕捉真實(shí)裝配場(chǎng)景圖像，將其和計(jì)算機(jī)生成的虛擬物體通過各種配準(zhǔn)算法，并最終顯示在頭盔顯示器上。這種增強(qiáng)現(xiàn)實(shí)系統(tǒng)相對(duì)廉價(jià)，因而應(yīng)用較廣，但這種系統(tǒng)大多數(shù)只是簡(jiǎn)單地將虛擬物體疊加在真實(shí)場(chǎng)景圖像上，造成了虛擬對(duì)象一直遮擋真實(shí)對(duì)象的情形24。這種

12、錯(cuò)誤的遮擋，不僅會(huì)給長(zhǎng)時(shí)間執(zhí)行裝配任務(wù)的使用者造成眼疲勞和因視覺錯(cuò)亂引起的病，更會(huì)引起用戶在裝配操作過程的感官方向迷失和空間位置感錯(cuò)亂，給裝配操作帶來嚴(yán)重的錯(cuò)誤。因此，它是增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)中必須解決的一個(gè)重要問題。，僅靠真實(shí)場(chǎng)景圖像只能獲取稀疏、非確定和整的,這給實(shí)時(shí)的遮擋處理帶來了極大的。研究虛實(shí)對(duì)象遮擋的深度感知，實(shí)現(xiàn)準(zhǔn)確、快速地求解出真實(shí)物體的深度，是解決增強(qiáng)裝配環(huán)境中虛實(shí)對(duì)象遮擋問題的關(guān)鍵。在國(guó)外，Yokoya 等人研究利用視覺來計(jì)算真實(shí)場(chǎng)景圖像上物體的深度，然后。由于深度根據(jù)深度以及觀察者的視點(diǎn)位置來解決真實(shí)物體和虛擬物體之間的遮擋求解的計(jì)算量大，因而求解只局限于繪制虛擬物體所在的區(qū)

13、域內(nèi)25。Lepetit 等人提出了一種根據(jù)真實(shí)物體的輪廓來估計(jì)深度的，但是由于不同視角下真實(shí)物體的輪廓不同,該不能應(yīng)用于視角變化的裝配應(yīng)用系統(tǒng)中26。Edward 等人則從心理學(xué)角度出發(fā)，以自-3-我中心深度感知理論為依據(jù)建立了距離和深度的線性27。在國(guó)內(nèi)，理工大學(xué)等人根據(jù)匹配求出了場(chǎng)景圖像的稠密深度圖，虛實(shí)物體的遮擋根據(jù)它準(zhǔn)確得出，為加快深度圖的求解速度,他們利相機(jī)極線約束線性校正對(duì)左右圖像進(jìn)行校正，將匹配點(diǎn)的搜索范圍從二維降至了一維，減少了計(jì)算量，提高了精度28。浙江大學(xué)、等人采用視覺方式來求解真實(shí)物體的深度，他們采用非線性誤差擴(kuò)散核相結(jié)合,提高并加快了物體前景輪廓模型提高了對(duì)極幾何的求

14、解精度，將全局和局部線的提取精度和速度。這種僅用輪廓線上的點(diǎn)進(jìn)行匹配的，加快了真實(shí)物體深度反求的速度，取得了很效果24。但要將這些虛實(shí)物體遮擋的深度求解用現(xiàn)實(shí)裝配應(yīng)用，還需要進(jìn)行大量的研究工作，例如需要開發(fā)一整套增強(qiáng)裝配感知機(jī)制支持下的虛實(shí)物體遮擋的深度感知算法，以及研究如何提取并利用裝配等。的幾何特征加快輪廓線檢測(cè)2.3 虛實(shí)對(duì)象間的碰撞感知目前國(guó)內(nèi)外學(xué)者對(duì)虛擬環(huán)境中虛擬對(duì)象之間的碰撞檢測(cè)已進(jìn)行了較為深入的研究，提出了空間分解法和層次包圍盒法等主流碰撞檢測(cè)算法。但在增強(qiáng)現(xiàn)實(shí)環(huán)境中，除了虛擬對(duì)象之間的碰撞問題，更常見的是虛實(shí)對(duì)象之間的碰撞感知問題。D.Aliaga 曾提出了一種基于真實(shí)物體幾何

15、模型的虛實(shí)對(duì)象碰撞檢測(cè)，該先通過 CAD 建模等獲得真實(shí)物體的幾何模型，并將它與真實(shí)物體的圖像進(jìn)行配準(zhǔn)，然后用其幾何模型作為替代與虛擬物體進(jìn)行碰撞檢測(cè)29。雖然利用基于模型的，可將虛實(shí)物體間的碰撞檢測(cè)問題轉(zhuǎn)換成傳統(tǒng)的虛擬物體間的碰撞檢測(cè)問題來解決，但是這種有較大的局限，因?yàn)樵诤芏嗲闆r下真實(shí)物體的 CAD 模型難以獲得或者有些物體難以完全定義和建模（如電纜、彈簧、管路等可變形柔性零件）。與基于模型的不同，David E. Breen 等人提出了一種基于深度圖的虛實(shí)物體碰撞感知算法，該先通過相機(jī)獲得真實(shí)物體的視點(diǎn)相關(guān)深度圖，然后將虛擬物體也變換到相機(jī)坐標(biāo)系，最后通過比較兩者的 Z 值來進(jìn)行碰撞檢測(cè)

16、30。實(shí)際上，在裝配過程中，由于裝配過程的復(fù)雜性和隨意性，裝配中的碰撞檢測(cè)算法除了要具有實(shí)時(shí)性以外，還需考慮模型表達(dá)對(duì)碰撞檢測(cè)的影響。目前虛擬現(xiàn)實(shí)系統(tǒng)中的碰撞檢測(cè)算法大多多邊形面片模型，而多邊形面片模型在模型表達(dá)上僅是一種近似，這種近似雖然能夠滿足視覺顯示的需要，但給碰撞檢測(cè)帶來很大的麻煩。例如，圓柱等半徑的圓柱軸時(shí)，會(huì)檢測(cè)到軸孔之間發(fā)生碰撞（由于多邊形表達(dá)中圓柱面已近似地表達(dá)為棱柱面），這就導(dǎo)致等半徑的軸孔在虛擬環(huán)境中無法進(jìn)行裝配。因此，基于裝配的的碰撞檢測(cè)不僅要能實(shí)時(shí)、精確地虛擬物體間是否發(fā)生碰撞，同時(shí)還要對(duì)實(shí)際發(fā)生區(qū)域，根據(jù)零部件之間的幾何約束配合，進(jìn)行精確的剔除21。因此，采用單一的檢

17、測(cè)往往難以滿足裝配系統(tǒng)的性能要求31。研究在裝配感知機(jī)制的支持下,基于多視角圖像重構(gòu)真實(shí)物體的可見外殼（Visual Hull），并以之與虛擬對(duì)象進(jìn)行碰撞判別計(jì)算，解決可變形真實(shí)物體在內(nèi)的各種虛實(shí)對(duì)象間的碰撞問題,將是一種行之有效的。該可以避免在整個(gè)裝配場(chǎng)景中遍歷每一個(gè)模型，只在到達(dá)裝配位置時(shí)進(jìn)行相應(yīng)的碰撞感知。3系統(tǒng)體系結(jié)構(gòu)及相關(guān)技術(shù)的實(shí)現(xiàn)在上述有現(xiàn)實(shí)裝配系統(tǒng)及其的綜合分析基礎(chǔ)上,本文提出一種基于虛實(shí)對(duì)感知機(jī)制的增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)運(yùn)行環(huán)境,其體系結(jié)構(gòu)如圖 2 所示。-4-在圖 2 中，已有的無需重新設(shè)計(jì)的真實(shí)部件通過雙目視覺后與新設(shè)計(jì)的CAD 零件模型經(jīng)過虛實(shí)頭盔等交互、顯示后融合在增強(qiáng)裝配場(chǎng)

18、景中。用戶可以通過六度鼠標(biāo)、與增強(qiáng)裝配環(huán)境進(jìn)行交互。整個(gè)增強(qiáng)現(xiàn)實(shí)裝配環(huán)境系統(tǒng)的運(yùn)行采用基于用戶的交互以及虛實(shí)對(duì)象的相互感知機(jī)制來驅(qū)動(dòng)。根據(jù)多 Agent 的思想，將系統(tǒng)劃分為子裝配體 Agent、場(chǎng)景管理 Agent、深度感知 Agent、碰撞感知 Agent、特征 Agent 和一個(gè)圖 2 增強(qiáng)現(xiàn)實(shí)裝配系統(tǒng)的體系結(jié)構(gòu)用于裝配情景動(dòng)態(tài)轉(zhuǎn)換描述的 Petri 網(wǎng)。各個(gè) Agent 相互協(xié)調(diào)，并且基于對(duì)裝配情景 Petri 網(wǎng)的推理，感知用戶的交互意圖，做出相應(yīng)的裝配操作響應(yīng)，供裝配規(guī)劃、裝配可行性評(píng)價(jià)及裝配特征的設(shè)計(jì)修改等。（1）虛實(shí)對(duì)象的感知機(jī)制構(gòu)造對(duì)增強(qiáng)現(xiàn)實(shí)裝配環(huán)境中的各種對(duì)象進(jìn)行和定義，對(duì)

19、具有環(huán)境主動(dòng)感知能力和行為選擇、執(zhí)行能力的子裝配體等智能體對(duì)象，采用基于 Agent 的建模進(jìn)行定義和描述，建立虛實(shí)對(duì)象獲得彼此狀態(tài)和屬性的行為機(jī)制。在此基礎(chǔ)上，融入裝配工藝過程知識(shí)，通過對(duì)交互裝配過程的時(shí)序邏輯進(jìn)行抽象分析，依據(jù)裝配情景轉(zhuǎn)換過程，建立裝配情景轉(zhuǎn)換推理的層次對(duì)象 Petri 網(wǎng)模型，最后通過推理規(guī)則庫(kù)來實(shí)現(xiàn)對(duì)用戶交互意圖及裝配場(chǎng)景變化的感知，并做出行為選擇。（2）基于裝配情景感知的虛實(shí)對(duì)象深度感知采用基于融合的增強(qiáng)裝配環(huán)境系統(tǒng)，通過特征提取、匹配自動(dòng)獲取裝配環(huán)境中虛實(shí)物體的深度，來解決裝配場(chǎng)景中的虛實(shí)遮擋問題。基于裝載到 HMD 上的雙路立體視覺，采用基于裝配情景感知的場(chǎng)景圖像

20、背景剔除算法。根據(jù)裝配情景及其轉(zhuǎn)換，可-5-能發(fā)生遮擋的虛實(shí)物體及其遮擋范圍，對(duì)左右圖像，結(jié)合對(duì)裝配情景的感知，利用局部顏色直方圖進(jìn)行場(chǎng)景圖像的背景剔除處理；基于機(jī)械幾何特征提取和對(duì)極約束匹配進(jìn)行深度反求。提取裝配對(duì)象上的直線、橢圓弧線等基本幾何特征進(jìn)行輪廓線重構(gòu)，根據(jù)輪廓線上的匹配點(diǎn)對(duì)，利用匹配誤差最小化優(yōu)化模型進(jìn)行對(duì)極約束求解，通過反求空間點(diǎn)獲得對(duì)象物體的深度。具體實(shí)現(xiàn)流程如圖 3 所示。圖 3 虛實(shí)對(duì)象的深度感知（3）基于裝配過程理解的虛實(shí)物體碰撞感知首先，通過視覺提取、用戶交互、以及從 CAD 設(shè)計(jì)中提取等獲取并建立的裝配特征。然后基于對(duì)裝配情景的轉(zhuǎn)換推理，隨著裝配過程的進(jìn)行，依次進(jìn)行

21、裝配特征之間的匹配感知、零件的約束感知以及裝配特征間的配合定位感知；當(dāng)裝配特征到達(dá)配合位置時(shí)，調(diào)用虛實(shí)物體碰撞檢測(cè)模塊，并利用可視化符號(hào)、聲音、顏色、點(diǎn)光源等進(jìn)行碰撞響應(yīng)表現(xiàn)以及碰撞穿透的計(jì)算恢復(fù)。虛實(shí)物體之間的碰撞檢測(cè)過程如圖 4 所示。多視角圖像獲取 體積，體的可見外殼內(nèi)可見外殼生成圖 4 虛實(shí)物體之間的碰撞檢測(cè)-6-碰撞響應(yīng)表現(xiàn)投影錐殼求交對(duì)虛擬物體的每個(gè)三角面片，其是否在真實(shí)物圖像分割，提取真實(shí)物體的2D像素圖集(S(Oi)在上述碰撞求解過程中，可利用圖形卡的紋理和模板緩存功能進(jìn)一步體積的求解。此外，在虛實(shí)對(duì)象碰撞求解過程中，采用基于圖像的可見外殼（Image basedVisual

22、Hull， IBVH）生成算法，利用真實(shí)物體的可見外殼與虛擬對(duì)象進(jìn)行碰撞求解，從而避免重構(gòu)真實(shí)物體的三維模型。這種，計(jì)算量較小，特別適合于動(dòng)態(tài)裝配場(chǎng)景。4的不足及今后的發(fā)展方向增強(qiáng)現(xiàn)實(shí)裝配技術(shù)作為增強(qiáng)現(xiàn)實(shí)技術(shù)在設(shè)計(jì)與領(lǐng)域的具體應(yīng)用，其發(fā)展在很大程度上受制處。現(xiàn)實(shí)技術(shù)的發(fā)展。當(dāng)然，增強(qiáng)現(xiàn)實(shí)裝配技術(shù)自身也一些不足和有待發(fā)展之（1）當(dāng)前的增強(qiáng)現(xiàn)實(shí)裝配技術(shù)大多集中在為裝配操作過程提供可視化指導(dǎo)或進(jìn)行裝配工作空間的布局等層面。而為裝配過程提供碰撞檢測(cè)和響應(yīng)、深度及遮擋判定等無疑更加有助于裝配過程和評(píng)價(jià)。（2）目前在增強(qiáng)現(xiàn)實(shí)裝配中，只注重研究真實(shí)物體對(duì)虛擬物體的單向交互作用，虛擬物體如何影響真實(shí)物體以及虛

23、實(shí)物體間的相互感知機(jī)制與一個(gè)有趣而重要的研究方向。，實(shí)際上更是將來的（3）如何利用機(jī)械的高級(jí)幾何特征（如平面、橢圓、孔、槽等）、拓?fù)湟约拜喞€的重構(gòu)等加快圖像對(duì)的匹配速度和精度，從而提高基于的增強(qiáng)現(xiàn)實(shí)場(chǎng)景的虛實(shí)融合水平，也是一個(gè)重要的研究方向。已有基于角點(diǎn)、端點(diǎn)、的特征匹配往往會(huì)因裝配場(chǎng)景中特征點(diǎn)檢測(cè)的質(zhì)量和數(shù)量的不造成誤匹配。參考文獻(xiàn)1Y.Pang, A.Y.C.Nee, Kamal Youce-Toumi, et al. Assembly Design and Evaluation in an Augmented Reality EnvironmenC. Singapore-MIT All

24、iance Symposium, 2005.01, Singapore23,. 虛擬裝配中基于相對(duì)位置的碰撞檢測(cè)J. 計(jì)算機(jī)應(yīng)用, 2006, 26(1):103-105,等. 虛擬裝配環(huán)境下快速碰撞檢測(cè)的研究J. 系統(tǒng)學(xué)報(bào), 2005, 17(9):2167-21704 M.L. Yuan, S.K. Ong, and A.Y.C. Nee. Registration Using Natural Features for augmented Reality SystemsJ.IEEE Tranions on Visualization and Computer Graphics, 2006,

25、 12(4):569-5805 Bernd Schwald, Blandine Laval. An Augmented Reality System for Training and Assistance to Maintenance in the Industrial ContextJ. Journal of WSCG, 2003, 11(1)6 Harald Wuset, Didier Stricker. Tracking of Industrial Objects by using CAD M Reality and Broadcasting. 2007, 4(1)sJ. Journal

26、 of Virtual7. 虛擬裝配中感知機(jī)制構(gòu)造J.學(xué)報(bào), 2002, 13(12):2324-23308 Wang, X., et al. Rapidly Incorporating Real Objects for Evaluation of Engineering Designs in a Mixed Reality EnvironmentC. “New Directions of 3D IU” Workshop of IEEE Virtual Reality,20059 Ronald Azuma, Yohan Baillot, Reinhold Behringer, et al. R

27、ecent Advances in Augmented RealityJ. IEEE Computer Graphics and Applications, 2001, 21(6): 31-4710 Barfield W., Caudell T. Fundamental of Wearable Computers and Augmented RealityM. Lawrence Erlbaum Associates, Publishers, 2001, 447-47111 Tapio Salone, et al. Demonstration of Assembly Work Using Aug

28、mented RealityC. CIVR07, Amsterdam,The Netherlands, 2007,7: 120-12312 Wolfgang Friedrich. ARVIKA Augmented Reality for Development, Production, and Service. 2003R13 Fraunhofer Institute for Computer Graphics IGDR. Achievements and Results Annul Report 2005.14 林 倞, 1146-1151,等. 基于圖像匹配的戶外環(huán)境算法J.圖像圖形學(xué)報(bào),

29、2005.9, Vol.10, No.9,15,苗,等. 基現(xiàn)實(shí)的作系統(tǒng)研究J. 系統(tǒng)學(xué)報(bào),2004.5,Vol.16,No.5,943-94616,陳幼平,胡廣華,.基現(xiàn)實(shí)的車間布局系統(tǒng)的設(shè)計(jì)與開發(fā)J. 機(jī)械與，2007(1),PP64-6717,陳幼平.增強(qiáng)現(xiàn)實(shí)數(shù)控中虛擬技術(shù)研究J.機(jī)械與，2007（4），p7-10-7-18413-419,. 基于約束的虛擬裝配技術(shù)研究J. 計(jì)算機(jī)集成系統(tǒng), 2006, 12(3):19 夏平均, 2007,43(4)：44-51,. 基于虛擬現(xiàn)實(shí)和仿生算法的裝配序列優(yōu)化J. 機(jī)械工程學(xué)報(bào),2021. 虛擬裝配中面貼合感知構(gòu)造研究J. 計(jì)算機(jī)研究與發(fā)展,

30、 2002, 39(10): 1331-1336,. 基于虛擬裝配的碰撞檢測(cè)算法研究與實(shí)現(xiàn)J. 系統(tǒng)學(xué)報(bào), 2004, 16(8)：1775-177822 Lennart E Fahlen, Gharles Grant Brown, Olov Stahl et al . A Space based m for user Interaction in Shared Synthetic EnvironmentsC. In Inter. CHI93. Amsterdam: ACM Press, 1993, 24-2923 Peter J Berkelman, Ralph L Hollis, Davi

31、d Baraff. Interaction with a Real-time dynamic Environment Simulation Using a Magnetic Leviation Haptic Interface DeviceC. The 1999 IEEE Inter. Conference. Robotics & Automation, Detroit, Michigan, 1999241624-1628. 用視覺計(jì)算實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)遮擋處理J. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2007, 19(12)：25 Yokoya N, Takemura H, Okuma T, e

32、t al. Stereo Vision BasedSee-through Mixed RealityC.Proceedings of the 1st International Symposia on Mixed Reality, Yokohama, 1999: 85-9426 Lepetit V, Berger M O. A Semi-automatic Method for Resolving Occlusion in Augmented RealityC. Proceedings of IEEE Conference on Computer Vision and Pattern Reco

33、gnition, Hilton Head Island, South California, 2000: 2225-223027 Edward Swan II J, Livingston M A, Smallman H S, et al1. A Perceptual Matching Technique for Depth Judgments in Optical See-through Augmented RealityC. Proceedings of IEEE Virtual Reality Conference, Alexandria, Virginia, 2006: 19-2628,

34、等. 增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的深度檢測(cè)技術(shù)研究J. 計(jì)算機(jī)應(yīng)用, 2006 , 26 (1) : 132-13729 D. Aliaga. Virtual and Real Object Collisions in a Merged EnvironmentC. Virtual Reality Software &Technology (Proc. VRST '94), Singapore, 1994: 287-298.30 David E. Breen, Eric Rose, Ross T. Whitaker. Interactive Occlusion and Collision of Real and Virtual Objects in Augmented RealityR. Technical report ECRC-9