1、 6/6計算機視覺課程綜合作業(yè) 計算機視覺課程綜合作業(yè) 一、論述題 1.計算機視覺的研究領域及其主要支持技術？簡述當前的技術進展。 答：計算機視覺是使用計算機及相關設備對生物視覺的一種模擬。它的主要任務就是通過對采集的圖片或視頻進行處理以獲得相應場景的三維信息，就像人類和許多其他類生物每天所做的那樣。計算機視覺既是工程領域，也是科學領域中的一個富有挑戰(zhàn)性重要研究領域。計算機視覺是一門綜合性的學科，它已經吸引了來自各個學科的研究者參加到對它的研究之中。其中包括計算機科學和工程、信號處理、物理學、應用數學和統(tǒng)計學，神經生理學和認知科學等。有不少學科的研究目標與計算機視覺相近或與此有關。 主要支持技

2、術包括圖象處理、模式識別或圖象識別、景物分析、圖象理解等。由于歷史發(fā)展或領域本身的特點這些學科互有差別，但又有某種程度的相互重迭。 圖象處理 圖象處理技術把輸入圖象轉換成具有所希望特性的另一幅圖象。例如，可通過處理使輸出圖象有較高的信-噪比，或通過增強處理突出圖象的細節(jié)，以便于操作員的檢驗。在計算機視覺研究中經常利用圖象處理技術進行預處理和特征抽取。 模式識別 模式識別技術根據從圖象抽取的統(tǒng)計特性或結構信息，把圖象分成予定的類別。例如，文字識別或指紋識別。在計算機視覺中模式識別技術經常用于對圖象中的某些部分，例如分割區(qū)域的識別和分類。 圖象理解 給定一幅圖象，圖象理解程序不僅描述圖象本身，而且

3、描述和解釋圖象所代表的景物，以便對圖象代表的內容作出決定。在人工智能視覺研究的初期經常使用景物分析這個術語，以強調二維圖象與三維景物之間的區(qū)別。圖象理解除了需要復雜的圖象處理以外還需要具有關于景物成象的物理規(guī)律的知識以及與景物內容有關的知識。 當前的技術進展： 人工智能所研究的一個主要問題是：如何讓系統(tǒng)具備“計劃”和“決策能力”？從而使之完成特定的技術動作（例如：移動一個機器人通過某種特定環(huán)境）。這一問題便與計算機視覺問題息息相關。在這里，計算機視覺系統(tǒng)作為一個感知器，為決策提供信息。另外一些研究方向包括模式識別和機器學習（這也隸屬于人工智能領域，但與計算機視覺有著重要聯系），也由此，計算機視

4、覺時常被看作人工智能與計算機科學的一個分支。 計算機視覺關注的目標在于充分理解電磁波主要是可見光與紅外線部分遇到物體表面被反射所形成的圖像，而這一過程便是基于光學物理和固態(tài)物理，一些尖端的圖像感知系統(tǒng)甚至會應用到量子力學理論，來解析影像所表示的真實世界。同時，物理學中的很多測量難題也可以通過計算機視覺得到解決，例如流體運動。也由此，計算機視覺同樣可以被看作是物理學的拓展。 另一個具有重要意義的領域是神經生物學，尤其是其中生物視覺系統(tǒng)的部分。 在整個20世紀中，人類對各種動物的眼睛、神經元、以及與視覺刺激相關的腦部組織都進行了廣泛研究，這些研究得出了一些有關“天然的”視覺系統(tǒng)如何運作的描述（盡管

5、仍略嫌粗略），這也形成了計算機視覺中的一個子領域人們試圖建立人工系統(tǒng)，使之在不 同的復雜程度上模擬生物的視覺運作。同時計算機視覺領域中，一些基于機器學習的方法也有參考部分生物機制。 計算機視覺的另一個相關領域是信號處理。很多有關單元變量信號的處理方法，尤其對是時變信號的處理，都可以很自然的被擴展為計算機視覺中對二元變量信號或者多元變量信號的處理方法。但由于圖像數據的特有屬性，很多計算機視覺中發(fā)展起來的方法，在單元信號的處理方法中卻找不到對應版本。這類方法的一個主要特征，便是他們的非線性以及圖像信息的多維性，以上二點作為計算機視覺的一部分，在信號處理學中形成了一個特殊的研究方向。 2.雙目立體視

6、覺技術原理及其研究現狀？ 答：雙目立體視覺是計算機視覺的一個重要分支，即由不同位置的兩臺或者一臺攝像機（CCD）經過移動或旋轉拍攝同一幅場景，通過計算空間點在兩幅國像中的視差，獲得該點的三維坐標值。 基本原理如下： 立體視覺系統(tǒng)由左右兩部攝像機組成。如圖二所示，圖中分別以下標l和r標注左、右攝像機的相應參數。世界空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(ur，vr)。這兩個像點是世界空間中同一個對象點A的像，稱為“共軛點”。知道了這兩個共軛像點，分別作它們與各自相機的光心Ol和Or的連線，即投影線alOl和arOr，它們的交點即為世界空間中

7、的對象點A(X，Y，Z)。這就是立體視覺的基本原理。 雙目體視目前主要應用于四個領域：機器人導航、微操作系統(tǒng)的參數檢測、三維測量和虛擬現實。 目前研究現狀如下： 日本大阪大學自適應機械系統(tǒng)研究院研制了一種自適應雙目視覺伺服系統(tǒng)，利用雙目體視的原理，如每幅圖像中相對靜止的三個標志為參考，實時計算目標圖像的雅可比短陣，從而預測出目標下一步運動方向，實現了對動方式未知的目標的自適應跟蹤。該系統(tǒng)僅要求兩幅圖像中都有靜止的參考標志，無需攝像機參數。而傳統(tǒng)的視覺跟蹤伺服系統(tǒng)需事先知道攝像機的運動、光學等參數和目標的運動方式。 日本奈良科技大學信息科學學院提出了一種基于雙目立體視覺的增強現實系統(tǒng)（AR）注冊

8、方法，通過動態(tài)修正特征點的位置提高注冊精度。該系統(tǒng)將單攝像機注冊（MR）與立體視覺注冊（SR）相結合，利用MR和三個標志點算出特征點在每個圖像上的二維坐標和誤差，利用SR和圖像對計算出特征點的三維位置總誤差，反復修正特征點在圖像對上的二維坐標，直至三維總誤差小于某個閾值。該方法比僅使用MR或SR方法大大提高了AR系統(tǒng)注冊深度和精度。實驗結果如圖2，白板上三角開的三頂點被作為單攝像機標定的特征點，三個三角形上的模型為虛擬場景，烏龜是真實場景，可見基本上難以區(qū)分出虛擬場景（恐龍）和現實場景（烏龜）。 日本東京大學將實時雙目立體視覺和機器人整體姿態(tài)信息集成，開發(fā)了仿真機器人動態(tài)行長導航系統(tǒng)。該系統(tǒng)實

9、現分兩個步驟：首先，利用平面分割算法分離所拍攝圖像對中的地面與障礙物，再結合機器人身體姿態(tài)的信息，將圖像從攝像機的二維平面坐標系轉換到描述軀體姿態(tài)的世界坐標系，建立機器人周圍區(qū)域的地圖；基次根據實時建立的地圖進行障礙物檢測，從而確定機器人的行走方向。 日本岡山大學使用立體顯微鏡、兩個CCD攝像頭、微操作器等研制了使用立體顯微鏡控制微操作器的視覺反饋系統(tǒng)，用于對細胞進行操作，對鐘子進行基因注射和微裝配等。 麻省理工學院計算機系統(tǒng)提出了一種新的用于智能交通工具的傳感器融合方式，由雷達系統(tǒng)提供目標深度的大致范圍，利用雙目立體視覺提供粗略的目標深度信息，結合改進的圖像分割算法，能夠在高速環(huán)境下對視頻圖

10、像中的目標位置進行分割。 華盛頓大學與微軟公司合作為火星衛(wèi)星“探測者”號研制了寬基線立體視覺系統(tǒng)，使“探測者”號能夠在火星上對其即將跨越的幾千米內的地形進行精確的定位玫導航。系統(tǒng)使用同一個攝像機在“探測者”的不同位置上拍攝圖像對，拍攝間距越大，基線越寬，能觀測到越遠的地貌。系統(tǒng)采用非線性優(yōu)化得到兩次拍攝圖像時攝像機的相對準確的位置，利用魯棒性強的最大似然概率法結合高效的立體搜索進行圖像匹配，得到亞像素精度的視差，并根據此視差計算圖像對中各點的三維坐標。相比傳統(tǒng)的體視系統(tǒng)，能夠更精確地繪制“探測者”號周圍的地貌和以更高的精度觀測到更遠的地形。 國內研究動態(tài) 浙江大學機械系統(tǒng)完全利用透視成像原理，

11、采用雙目體視方法實現了對多自由度機械裝置的動態(tài)、精確位姿檢測，僅需從兩幅對應圖像中抽取必要的特征點的三維坐標，信息量少，處理速度快，尤其適于動態(tài)情況。與手眼系統(tǒng)相比，被測物的運動對攝像機沒有影響，且不需知道被測物的運動先驗知識和限制條件，有利于提高檢測精度。 東南大學電子工程系基于雙目立體視覺，提出了一種灰度相關多峰值視差絕對值極小化立體匹配新方法，可對三維不規(guī)則物體（偏轉線圈）的三維空間坐標進行非接觸精密測量。 哈工大采用異構雙目活動視覺系統(tǒng)實現了全自主足球機器人導航。將一個固定攝像機和一個可以水平旋轉的攝像機，分別安裝在機器人的頂部和中下部，可以同時監(jiān)視不同方位視點，體現出比人類視覺優(yōu)越的

12、一面。通過合理的資源分配及協調機制，使機器人在視野范圍、測跟精度及處理速度方面達到最佳匹配。雙目協調技術可使機器人同時捕捉多個有效目標，觀測相遇目標時通過數據融合，也可提高測量精度。在實際比賽中其他傳感器失效的情況下，僅僅依靠雙目協調仍然可以實現全自主足球機器人導航。 火星863計劃課題“人體三維尺寸的非接觸測量”，采用“雙視點投影光柵三維測量” 原理，由雙攝像機獲取圖像對，通過計算機進行圖像數據處理，不僅可以獲取服裝設計所需的特征尺寸，還可根據需要獲取人體圖像上任意一點的三維坐標。該系統(tǒng)已通過中國人民解放軍總后勤部軍需部鑒定。可達到的技術指標為：數據采集時間小于5s/人；提供身高、胸圍、腰圍

13、、臀圍等圍度的測量精度不低于1.0cm。 3.機器視覺的應用原理及場合，機器人視覺屬于計算機視覺應用嗎？ 答：機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)是指通過機器視覺產品（即圖像攝取裝置，分 CMOS 和CCD 兩種）將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據像素分布和亮度、顏色等信息，轉變成數字化信號；圖像系統(tǒng)對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來控制現場的設備動作。 應用原理：機器視覺檢測系統(tǒng)采用CCD照相機將被檢測的目標轉換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像處理系統(tǒng)對這些信號進行

14、各種運算來抽取目標的特征，如面積、數量、位置、長度，再根據預設的允許度和其他條件輸出結果，包括尺寸、角度、個數、合格 / 不合格、有 / 無等，實現自動識別功能。 應用場合：1.自動光學檢查 2.人臉偵測 3.無人駕駛汽車 機器人視覺屬于計算機視覺應用。 4.立體視覺與立體電視有無區(qū)別，為什么？ 答：立體視覺是人眼在觀察事物時所具有的立體感。再進一步講，人眼對獲取的景象有相當的深度感知能力（Depth Perception），而這些感知能力又源自人眼可以提取出景象中的深度要素（Depth Cue）。 立體電視是一種能夠模擬實際景物的真實空間關系的電視系統(tǒng)。又稱三維電視(Three-dimens

15、ional television,3D-TV)。立體電視圖像不僅能給觀眾一種深度感覺，而且能給觀眾一種景物伸展于熒光屏之外似乎伸手可觸的感覺。 人眼的立體視覺特性是立體電視的基礎。人類在觀看四周世界時，不僅能看到物體的寬度和高度，而且能知道它們的深度，能判定物體之間或觀看者與物體之間的距離。這種三維視覺特性產生的主要原因是：人們通常總是雙目同時觀看物體，而由于兩只眼睛視軸的間距（約65 mm），左眼和右眼在看一定距離的物體時，所接收到的視覺圖像是不同的，因而大腦通過眼球的運動、調整，綜合了這兩幅圖像的信息，產生立體感。在單用左眼和右眼觀看物體時，所產生的圖像移位感覺就叫視差。理論分析可知，在沒

16、有任何工具的情況下，人眼可看到立體物體的最遠距離不超過 1 km。由經驗得知，人的立體視覺還不是絕對靠視差，一只眼睛的人同樣能判定物體深度和距離，他們主要是靠光線明暗、物體的相對尺寸、清楚程度、運動速度等來進行判定的，把眼球視線注視于一點或一小區(qū)域后，利用眼睛上下左右轉動來對物體上下、左右、前后掃描觀察，以便使物體能在眼球運動、肌肉做功過程中，獲得多幅稍有差別的物體圖像信息，通過長期以來所積累的觀察事物的經驗進行判定等就足可獲得立體感，由此可見，兩只眼睛觀察觀看同一物體的視覺信號，可以獲得立體感，而用一個眼睛對同一物體從兩個稍有差別的觀察點來獲得圖像信息，也能使人獲得立體感。 也就是說，立體電

17、視是立體視覺中的一項技術成果，電視利用人的立體視覺 原理發(fā)明的。 5. 基于圖像內容的視頻圖像檢索如何進行？簡述方法與步驟。 答：視頻數據的本質是一組連續(xù)的圖像幀，除了存在時間上的先后關系外，其本身并不具有任何結構信息。要實現基于內容的視頻檢索，必須為視頻建立不同層次的結構索引，并進一步為視頻的檢索和瀏覽提供基本訪問單元。 基于內容的視頻檢索系統(tǒng)框圖如下： 用戶 輸出 6. 基于灰度和特征的兩種匹配算法各有何不同？目前研究較多是基于哪種匹配 算法？ 答：基于灰度的匹配算法是指圖象處理中所稱的區(qū)域相關方法，它是解決對應問題的一個最直觀最簡單的方法。在一幅圖象中以一點為中心選定一區(qū)域（窗口），在另

18、一幅圖象中尋找與該區(qū)域相關系數最大的區(qū)域，把該找到的區(qū)域的中心認為是原來那區(qū)域中心的對應點 。 基于圖像特征方法提取各類圖像中保持不變的特征，如邊緣點、閉區(qū)域的中心等，作為兩幅圖像匹配的參考信息。這類方法的主要優(yōu)點是它提取了圖像的顯著特征，大大壓縮了圖像的信息量，使得計算量小，速度較快，而且這種方法對輸入模塊 詢問模塊 特征/圖像 數據庫 特征抽取 檢索模塊 特征比較 特征抽取 交互 詢問模式 瀏覽 和 反饋 特征提取和特征匹配的錯誤更敏感，需要可靠的特征提取和特征一致性?；趫D像特征的匹配方法包括特征提取、特征匹配選取、變換模型及求取參數坐標、變換與插值四個主要組成部分。 基于灰度和特征的兩種匹配算法的不同：基于灰度的匹配算法計