第七章機器人感知技術與信息處理主要內容機器人感知技術視覺系統觸覺系統本章小結機器人感知技術大數據時代，描述事物的數據樣本不斷增加。數據樣本結合不同的目標、場景、視角，得出不同的感知結論。了解客觀事物的需求，可以整合上述感知渠道，在多特征融合的基礎上豐富數據融合模型。7.1.1機器人感知技術邏輯

感知模塊是機器人系統穩定運行、高效控制的重要工具，然而工程系統內傳感器僅針對單一數據信息進行識別處理，使機器人感知范圍變窄，缺乏邏輯性，阻滯機器人感知技術發展。為多渠道整合數據信息，使機器人對客觀事物有精準判斷，需從嗅覺、觸覺、視覺、聽覺、味覺等角度出發配置傳感器。7.1.2機器人感知技術特點技術存在“污染”特性。基于機器人對客觀事物的感受，以數據為依托，為適應復雜的環境感知技術需搜集豐富的數據信息資源，在數據采集過程中不乏野點、冗余內容、噪聲，徒增機器人感知信息綜合處理壓力。技術存在“動態”特性。受機器人所處環境影響，感知技術需不斷搜集、整合、存儲、應用新數據，在調整機器人綜合服務方式同時使其喪失穩定性，對服務辨別能力產生影響。技術存在“失配”特性。機器人對傳感器使用周期、工作頻帶有不同要求，使數據信息與感知功能很難匹配成功，降低機器人服務質量。7.1.2機器人感知技術特點

基于機器人感知技術在獲悉海量數據提供服務同時，容易受數據所累，為此感知技術需具備信息篩查能力，具體可從以下幾個方面進行分析：

其一，在關注機器人感知技術系統基礎上更加關注其實用性，面向特定領域輸出機器人并配置傳感器，以元件質量檢測為例，技術人員通過掃描、參數錄入、語音操控等方式，面向機器人感知系統輸出數據，使其對元件質量深入理解，在此基礎上通過稱量、掃描、試驗等方式完成元件質量檢測任務。7.1.2機器人感知技術特點

其二，做好技術升級工作。為保障機器人感知技術與時俱進，可在機器人系統內裝配感知技術自主升級程序，在聯網狀態下機器人可自動調試感知技術，并將該技術升級阻力以信息的形式傳輸至技術人員移動設備中，調配傳感器，清空存儲數據，為技術人員升級配套軟件提供依據，確保機器人感知技術更加先進。7.1機器人感知融合

感知模塊是機器人系統穩定運行和高效控制的重要工具，機器人的傳感器分為內部傳感器和外部傳感器，如圖7-1所示。圖7-1機器人的傳感器

7.1機器人感知融合

例如，“觸覺+視覺融合技術”的發展，使機器人在看到客觀事物時，能夠對其輪廓、大小、位置等有一定的了解，進而對其質地、質量、柔軟度做出更正確的判斷。通過觸摸和硬度，確保機器人更多地了解空間環境的特征，并為提供匹配服務提供依據。7.1機器人感知融合

在現階段，僅依靠機器人感知技術還無法得出完整的人工機理分析結論。為此，需要增加數據驅動方法的應用，建立結構化稀疏編碼架構，實現多模態機器人感知技術和計算機系統。觸覺陣列耦合、聽覺情感計算、觸摸-視覺-聽-聽等模態融合識別解決了機器人感知技術的發展難題，為機器人在現實生活中的有效應用奠定了技術基礎。7.2.1概述

根據應用背景的不同，自主移動機器人視覺系統在設計上也有很大不同。機器人視覺系統按照視覺傳感器的數量和特性可以分為單目視覺、雙目立體視覺、多目視覺和全景視覺等。7.2.1概述單目視覺。單目視覺系統只使用一個視覺傳感器。這種視覺系統對于環境的表達完全體現在二維圖像的明暗度、紋理、表面輪廓線、陰影和運動等因素之中。缺點：單目視覺系統在成像過程中丟失了成像點的深度信息，這是該類視覺系統的一大缺點。另外，一般情況下，單目視覺系統的感知范圍是有限的，擴大其感知視野往往需要付出圖像失真的代價。7.2.1概述優點：由于單目視覺系統結構簡單，算法成熟，計算量小，在自主移動機器人中也得到了廣泛的應用，如基于平面假設的目標跟蹤、自運動估計和障礙物檢測以及單眼視覺基于項目特點的室內定位導航。更重要的是，單目視覺是雙目立體視覺、多眼視覺、結構光主動視覺、主動控制視覺等其他類型視覺系統的基礎。7.2.1概述雙目立體視覺。雙目立體視覺采用兩個視覺傳感器，主要目的是根據空間某點在兩幅圖像中的位置信息以及兩個圖像傳感器之間的相對位置關系計算出該點的深度，以便恢復場景的三維信息。優點：由于立體視覺系統能夠更準確地還原視覺場景的三維信息，因此已被應用于移動機器人定位導航、避障、地圖構建等領域。立體視覺系統的難點在于對應點匹配問題。這一問題的解決很大程度上制約了立體視覺在機器人領域的應用前景。7.2.1概述雙目立體視覺。雙目立體視覺采用兩個視覺傳感器，主要目的是根據空間某點在兩幅圖像中的位置信息以及兩個圖像傳感器之間的相對位置關系計算出該點的深度，以便恢復場景的三維信息。缺點：立體視覺還存在視場窄、計算量大等缺點。7.2概述多目視覺。多目視覺系統采用多個視覺傳感器，每個視覺傳感器可以根據任務需要靈活地配置在機器人本體的不同位置，而且每路視覺可以根據需要采用不同的算法。

多通道視覺系統沒有固定模式，通常是根據自主移動機器人要執行的任務專門設計的。仿人機器人視覺系統由左右兩個“眼睛”組成，每個“眼睛”包含兩個視覺傳感器，一個是用于凝視的窄角傳感器，另一個是廣角傳感器擴大視野的傳感器形成兩組立體視覺系統。7.2概述

一種應用于無人直升機的四眼視覺系統，其中兩個圖像傳感器面向前方形成立體視覺系統，用于避障作業。配備魚眼鏡頭的另外兩個圖像傳感器面向兩側。計算光流場并估計無人機當前的運動模式。通過在機器人身上合理配置圖像傳感器來實現立體視覺系統，通過互信息融合和證據增強來提高系統對三維環境感知的準確性和魯棒性。7.2概述

有研究利用8個圖像傳感器均勻分布在身體上，實現了具有立體功能的偽全景視覺系統，并將其應用于自主移動機器人的同步定位和地圖構建問題。多眼視覺系統是由普通單眼視覺以相應方式組合而成。主要目的是拓寬機器人的感知視野，提高對三維環境的感知精度，豐富視覺功能。7.2概述缺點：這種視覺系統的主要缺點是視覺傳感器數量的增加會導致需要處理的信息量增加，從而導致上位機計算負擔過重。因此，通常需要使用硬件來加速圖像處理過程。7.2概述全景視覺。為了擴大機器人的視野，全景視覺系統已經應用于移動機器人領域。全景視覺系統最大的特點是視野開闊，可以在一張圖像中提供周圍環境的全局鳥瞰圖。它不需要機器人通過旋轉身體或視覺傳感器來尋找目標，從而提高了機器人的響應速度。

目前多采用反射式全景視覺系統。該系統由一個CCD（ChargeCoupledDevice）視覺傳感器和一個面向視覺傳感器的鏡子組成。鏡子通常有拋物面鏡和雙曲面鏡兩種。7.2概述

目前多采用反射式全景視覺系統。該系統由一個CCD（ChargeCoupledDevice）視覺傳感器和一個面向視覺傳感器的鏡子組成。鏡子通常有拋物面鏡和雙曲面鏡兩種。7.2概述缺點：全景視覺系統本質上是單目視覺系統，無法直接獲得場景的深度信息。另一個缺點是獲取的圖像分辨率低，圖像畸變大，會影響圖像處理的穩定性和準確性。7.2概述

在進行圖像處理時，首先需要根據成像模型對畸變的圖像進行校正。這種校正過程不僅會影響視覺系統的實時性，還會造成信息的丟失。另外，這種視覺系統對全景鏡的加工精度要求非常高。如果雙曲鏡面的精度達不到要求，使用理想模型進行圖像校正就會出現較大的偏差。7.2概述

目前，使用全景視覺最成功的典型例子是RoboCup中型足球比賽機器人。國內外一些科研人員也對利用兩個全向視覺構建立體視覺系統的相關技術和方法進行了研究。7.2.2圖像傳感器圖像傳感器的主要功能是將環境信息轉化為計算機可以處理的數字信息。常用的圖像傳感器主要有CCD和CMOS兩種攝像頭，如圖7-2所示。圖7-2CCD和CMOS相機7.2.2圖像傳感器

CMOS視圖像傳感器的優點是響應性更好、電路簡單、集成度更高、功耗更低和系統尺寸更小，但缺點是圖像質量和系統靈活性差。CCD圖像傳感器的優點是動態范圍更廣，一致性更好，可以提供更好的圖像質量和系統靈活性，但缺點是通過這種方式實現的傳感單元往往尺寸較大。7.2.2圖像傳感器CCD傳感器。CCD圖像傳感器是一種新型的半導體器件——電荷耦合器件，MOS集成電路。CCD攝像頭的內部結構如圖7-3所示。作為一種新型光電轉換傳感器，它不僅具有體積小、重量輕、功耗低、工作電壓低、抗燒壞等優點，而且在分辨率、動態范圍、靈敏度、實時傳輸等方面也具有優勢。其優越性是其他成像設備無法比擬的。7.2.2圖像傳感器圖7-3CCD鏡頭內部結構7.2.2圖像傳感器

一個完整的CCD器件由感光單元、傳輸門、移位寄存器和一些輔助輸入輸出電路組成。CCD是一種MOS集成器件，最早由W.S.博伊爾和G.E.美國貝爾實驗室的史密斯于1970年3月在電氣和電子工程師協會(TEEE)國際會議上提出。其基本功能是電荷轉移和電荷存儲。CCD技術不僅可以制造大容量存儲器，還可以將模擬延遲和攝像技術集成到半導體電子軌道中。7.2.2圖像傳感器應用：主要應用于三大技術領域：相機、模擬延遲和海量存儲。CCD像素小、表征精度高、噪聲低、結構簡單等特點使CCD成功應用于工業、科研等領域，并在固態成像領域占據主導地位30年。CCD技術在1970年代和1980年代發展迅速，其量子效率、填充率、暗電流、電荷轉移效率、讀出率、讀出噪聲電荷動態范圍等性能參數得到了顯著優化，已廣泛應用于各種領域。7.2.2圖像傳感器CMOS傳感器。CMOS是一種互補金屬氧化物半導體。它是計算機系統中的重要芯片，它保存著系統引導最基本的信息。它主要采用硅和鍺制成的半導體，使其與CMOS上的N（帶電）和P（帶電+帶電）級共存。在半導體中，這兩種互補效應產生的電流可以被處理芯片記錄并解釋為圖像。后來發現CMOS經過處理也可以作為數碼攝影中的圖像傳感器。CMOS傳感器還可以細分為無源像素傳感器和有源像素傳感器。7.2.2圖像傳感器應用：CMOS圖像轉換技術不僅服務于“傳統”的工業圖像處理，而且由于其卓越的性能和靈活性，也被越來越廣泛的新型消費應用所接受。此外，它可以確保駕駛汽車時的高度安全性和舒適性。最初，CMOS圖像傳感器用于工業圖像處理；在那些旨在提高生產力、質量和生產過程經濟性的全新自動化解決方案中，時至今日它仍然是至關重要的一部分。7.2.3機器人視覺識別機器視覺識別是通過攝像頭等圖像采集設備將現實空間中的三維物體圖像轉換成機器語言，并通過圖像處理、圖像分析、圖像識別的過程。預處理圖7-4機器人視覺作用過程

色域空間轉換語義分割形態學處理實體（立體）二維圖像景象描述傳感器圖像處理7.2.3機器人視覺識別1、圖像預處理

圖像濾波是圖像預處理的重要步驟，解決由于由于環境、設備等原因帶來的噪聲，即在盡量保留圖像細節特征的條件下對目標圖像的噪聲進行抑制。通過圖像濾波抑制噪聲，可以得到干凈清晰的圖像，但會使得邊緣模糊。7.2.3機器人視覺識別

一幅數字圖像可以看成一個二維函數f（x，y），濾波過程就是將事先選定的濾波器在圖像中（x，y）逐點移動，使濾波器中心與點（x，y）重合。在每一點（x，y）處，濾波器在該點的響應是根據濾波器的具體內容并通過預先定義的關系來計算，若想實現不同的功能，可以通過選擇不同的濾波器來實現。圖7.1給出了使用3*3濾波器進行濾波的過程。7.2.3機器人視覺識別圖7-5：圖像濾波示意圖7.2.3機器人視覺識別2.色域空間轉換

RGB（Red，Green，Blue）顏色空間是工業界的一種顏色標準，利用了物理學中的三原色疊加從而產生各種不同顏色的原理。在RGB顏色空間中，R、G、B三個分量的屬性是獨立的，三個分量中數值越小的亮度越低，數值越大的亮度越高，如（0，0，0）表示黑色，（255，255，255）表示白色。

7.2.3機器人視覺識別HSV(Hue,Saturation,Value)是根據顏色的直觀特性由A.R.Smith在1978年創建的一種顏色空間,也稱六角錐體模型(HexconeModel)。這個模型中顏色的參數分別是：色調（H），飽和度（S），明度（V）。由于人類視覺對亮度比對顏色密度更敏感，為了便于色彩處理和識別，人類視覺系統常使用HSV色彩空間，比RGB色彩空間更符合人類視覺特征。7.2.3機器人視覺識別

圖像處理和計算機視覺中的大量算法可以方便地用于HSV顏色空間。它們可以單獨處理并且相互獨立。因此，HSV色彩空間可以大大簡化圖像分析處理的工作量。HSV顏色空間和RGB顏色空間只是同一個物理量的不同表示，因此它們之間存在轉換關系。7.2.3機器人視覺識別圖7-6色域空間轉換，RGB轉HSV

7.2.3機器人視覺識別7.2.3機器人視覺識別3.形態學處理

形態學或數學形態學是圖像處理中使用最廣泛的技術之一，包括腐蝕、膨脹和開閉運算。形態學的是利用具有一定形狀的結構元素從圖像中提取相應的形狀，以便后續的識別工作能夠捕捉到目標最可區分的形狀特征。7.2.3機器人視覺識別1）腐蝕

二元形態學中的操作對象是一個集合。通常，A是圖像集合，B是結構元素。用B腐蝕A，如圖7-6所示。在平面上移動，當B的原點移動，且B可以完全包含在A中，那么這一切原點的集合，即E的集合是B腐蝕A的結果。

腐蝕結果E的定義：

7.2.3機器人視覺識別圖7-7腐蝕運算示意圖7.2.3機器人視覺識別

圖7-8腐蝕效果圖7.2.3機器人視覺識別腐蝕的作用：腐蝕可以燒蝕物體的邊界。具體的腐蝕結果取決于結構元素B的選擇及其來源。如果物體整體上比結構元素大，腐蝕的結構會使物體“變薄”一個圓圈，這個圓圈有多大是由結構元素決定的；如果物體本身小于結構元件，則腐蝕的物體將處于精細連接中打破并分成兩部分。7.2.3機器人視覺識別2）膨脹

集合上的膨脹和腐蝕操作是對偶的，類似于腐蝕操作。設A為待處理圖像集，B為結構元素。圖像被結構元素B展開，讓原位于圖像原點的結構元素B在整個平面上移動，當它自己的原點平移時，B的圖像相對于它的原點和A有一個共同的交點，那么所有這樣的點構成一個集合（E）是B對A的展開結果，膨脹運算示意圖如圖7-9所示。7.2.3機器人視覺識別圖7-9：膨脹運算示意圖7.2.3機器人視覺識別

3）開閉運算

打開操作和關閉操作都因腐蝕和膨脹而復雜化。先腐蝕后膨脹的過程稱為開運算，先膨脹后腐蝕的過程稱為閉運算。封閉操作可以融合狹窄的不連續性并填充對象中的小孔。它可用于連接相鄰對象并填充輪廓中的間隙以平滑圖像的輪廓。開操作可以平滑圖像的輪廓，弱化狹窄的部分，去除細小的突起。它可用于消除背景中的小物體并在細微處分離物體。7.2.3機器人視覺識別3.機器人視覺定位圖7-11：雙目立體視覺定位原理圖

任意放置的雙目立體視覺模型見圖7.8。圖中，OL、OR分別為左右兩個攝像頭坐標系的坐標原點,P1、P2分別為左右兩個攝像機的成像平面。7.2.3機器人視覺識別假設已經通過前面的攝像頭標定和立體匹配確定了空間點P在左右兩個攝像機成像平面上的圖像坐標為p1、p2，那么，根據攝像機成像模型，可得：7.2.3機器人視覺識別

當選取左相機的攝像頭坐標系作為世界坐標系時，R1=1，T1=0，Rr，Tr分別對應著右相機相對于左相機的旋轉矩陣以及平移矩陣。

對上式消去Z1、Zr得：7.2.3機器人視覺識別化成矩陣形式：AP=b,其中：基于最小二乘法解得，點P的坐標為：7.2.5機器人視覺伺服圖7-12視覺伺服控制系統結構

機器人伺服系統根據攝像頭的放置位置可分為全局攝像頭系統和手眼系統。其視覺伺服控制系統結構如下圖所示。7.2.5機器人視覺伺服1.機器人視覺伺服系統

視覺伺服利用視覺傳感器獲得的圖像作為反饋信息，構建機器人位置的閉環反饋。與一般意義上的機器視覺不同，視覺伺服是以控制機器人為目的實現圖像的自動采集和分析，從圖像反饋信息中快速進行圖像處理，并在最短的時間內給出反饋信息。其參與控制決策的產生，并形成機器人位置的閉環控制系統。7.2.5機器人視覺伺服2.機器人伺服系統的主要分類機器人伺服系統根據攝像頭的放置位置可分為全局攝像頭系統和手眼系統。1）手眼系統手眼系統可以獲得目標的精確位置，可以實現精準控制，但手眼系統只能觀察目標，無法觀察機器人末端。因此，需要通過已知的機器人運動學模型來求解目標與機器人末端的位置關系。手眼系統對校準誤差和運動學誤差敏感。7.2.5機器人視覺伺服圖7-13手眼伺服系統簡圖7.2.5機器人視覺伺服2）全局攝像機系統全局攝像機系統中，相機安裝位置相對于目標與機器人基座的位姿是固定的。其能夠得到大工作場景圖像，但機器人在運動過程中容易對目標造成遮擋，從而影響目標的識別定位。圖7-14全局伺服系統簡圖7.3觸覺系統機器人的觸覺應具有五種基本功能：接觸覺、接近覺、壓覺、滑覺和力覺。圖7-15

機器人觸覺示意圖滑覺壓覺力覺接觸覺接近覺7.3觸覺系統接觸覺：接觸覺檢測手爪與對象物之間有無接觸。根據手爪觸感點的輸出，機器人可以感受、搜索對象物，感受手爪與對象物之間的相對位置或姿態，并修正手爪的操作狀態。在觸感點足夠密的情況下，機器人還可通過接觸覺判斷對象物的形狀、大小。7.3觸覺系統壓覺：壓覺檢測手爪與對象物之間接觸面上的法向力。根據手爪上壓感點陣的輸出，機器人可以對對象物采取不同的握取方式：硬握取——用最大的力夾緊對象物，以確保握牢；軟握取——用適當的力夾住對象物，以免對象損壞；零握取是一種臨界握取方式，不用力夾對象物，目的只是確定對象物的存在或形狀和大小。7.3觸覺系統

滑覺：滑覺檢測手爪與對象物之間接觸面上的切向力，以感受對象物在手爪中的滑移。滑移檢測一般是間接進行的，或者檢測手爪與對象物之間由于滑移發生的振動，或者檢測手爪與對象物之間相對滑移的位置變化。

7.3觸覺系統力覺：力覺是指機器人動作時各自由度的力（力矩）感覺。機器人的基本動作是手爪的移動，而在移動過程中，手爪往往受到各種約束。例如手爪抓住對象物在某一面上移動時要受到這個面的約束，手爪的移動軌跡也可能受到對象物的約束。機器人通過安裝在關節上的力覺感受器，就可以檢測外界對象物施加于手爪和臂的這類約束力（力矩），產生滿足約束的柔性動作。7.3觸覺系統

觸覺傳感器的輸出信號基本上是兩者接觸引起的力和位置偏移的函數。隨后，輸出信號被解釋為接觸界面的性質、目標對象的特性和接觸狀態。這些信息主要包括：（1）目標物體的存在與否，（2）目標物體的形狀、位置和姿態，（3）接觸面上的壓力及分布，（4）力的大小、方向和作用點，（5）力矩的大小、方向和作用面，此外，還可以包括靜態和動態信息，以及目標物體的柔順性、粘彈性等組合信息。7.3觸覺系統觸覺傳感器主要由三個部分組成（圖7-16）：接觸界面由多個按一定方式排列的敏感單元組成，直接接觸目標物體。