車載相機裝調與檢測目錄DIRECTORY01.車載相機認知與安裝02.車載相機故障檢測03.車載相機標定01車載相機認知車載相機-定義車載相機是指通過對攝像頭拍攝到的圖像進行圖像處理，對目標進行檢測，并輸出數據和判斷結果的傳感器。視覺傳感器在智能網聯汽車或無人駕駛汽車上的應用是以攝像頭（機）出現，并搭載先進的人工智能算法，便于目標檢測和圖像處理。車載相機-特點信息量極為豐富：不僅包含有視野內物體的距離信息，而且還有該物體的顏色、紋理、深度和形狀等信息多任務檢測：在視野范圍內可同時實現道路檢測、車輛檢測、行人檢測、交通標志檢測、交通信號燈檢測等視覺SLAM：通過攝像頭可以實現同時定位和建圖實時獲取場景信息：提供的信息不依賴于先驗知識，比如GPS導航依賴地圖信息，有較強的適應環境的能力與機器學習、深度學習等人工智能加快融合車載相機-組成車載相機主要由光源、鏡頭、圖像傳感器、模/數轉換器、圖像處理器、圖像存儲器等組成，其主要功能是獲取足夠的機器視覺系統要處理的原始圖像車載相機-組成車載相機-分類按鏡頭與布置方式單目視覺傳感器多目視覺傳感器環視視覺傳感器車載相機-定義單目視覺有兩個先天的缺陷：一是它的視野完全取決于鏡頭。焦距短的鏡頭，視野廣，但缺失遠處的信息。反之亦然。二是單目測距的精度較低。攝像機的成像圖是透視圖，即越遠的物體成像越小。近處的物體，需要用幾百甚至上千個像素點描述；而處于遠處的同一物體，可能只需要幾個像素點即可描述出來。這種特性會導致越遠的地方，一個像素點代表的距離越大。因此，對于單目視覺來說，物體越遠，測距的精度越低。雙目系統的特點如下：一是成本比單目系統要高，但尚處于可接受范圍內，并且與激光雷達等方案相比成本較低；二是沒有識別率的限制，因為從原理上無需先進行識別再進行測算，而是對所有障礙物直接進行測量；三是精度比單目高，直接利用視差計算距離。雙目系統的一個難點在于計算量非常大，對計算單元的性能要求非常高。車載相機-分類按芯片類型CCDCMOSCCD是指電荷耦合器件，是一種用電荷量表示信號大小，用耦合方式傳輸信號的探測元件,具有自掃描、感受波譜范圍寬、畸變小、體積小、重量輕、系統噪聲低、功耗小、壽命長、可靠性高等一系列優點CMOS是互補金屬氧化物半導體的縮寫，指制造大規模集成電路芯片CMOS圖像傳感器通常由像敏單元陣列、行驅動器、列驅動器、時序控制邏輯、AD轉換器、數據總線輸出接口、控制接口等幾部分組成,這幾部分通常都被集成在同一塊硅片上車載相機-應用車載相機主要應用于車道偏離預警、車道保持輔助、前向碰撞預警、行人碰撞預警、交通標志識別、盲區監測、夜視輔助、自動泊車輔助、全景泊車、駕駛員疲勞預警等01車載相機安裝車載相機-位置車載相機-安裝設備或儀器：車載相機（實驗臺或實驗箱），目標模擬器，卷尺。安裝步驟：1.安全要求與注意事項

注意人身和設備安全；場地面積足夠，無障礙物；功能檢測時，學員應在指定工作區域，以免隨意走動造成干擾。2.在工作區放置工作牌，將車載相機安裝在支架上，注意平整與無遮擋。3.將安裝車載相機的支架擺放在試驗臺上合適位置。4.將車載相機的USB接口與控制臺連接，啟動設備，確保供電正常。5.通過命令cheese查看相機是否安裝成功。安裝位置安插位置車載相機-臺架車載相機-臺架1.window系統下驗證

開始，選擇相機，觀察顯示2.unbtune系統下驗證

Ctrl+Alt+T打開命令界面，輸入cheese，觀察顯示車載相機裝調與檢測

第二講

車載相機故障檢測02車載相機故障檢測車載相機控制原理分析故障類型故障類型線路故障部件故障其它故障短路故障斷路故障虛接故障相機自身故障系統軟件故障等常見故障常見故障車載相機不工作無圖像黑屏車載相機工作畫面抖動車載相機工作畫面模糊車載相機工作畫面傾斜車載相機工作圖像暗或白屏

故障可能原因：電源故障（臺架供電異常、車載相機供電異常等）插頭是否有松動或者沒有插好等線路連接故障車載相機自身故障相關系統故障制定診斷流程車載相機的常見故障診斷故障現象：智能傳感器裝配調試臺架打開電源開關，車載相機不工作，無圖像顯示。故障檢查故障檢查故障檢查故障檢查故障現象：智能傳感器裝配調試臺架打開電源開關，車載相機能工作，但圖像顯示不正常（圖像畫面抖動、圖像畫面模糊、圖像畫面傾斜、圖像暗或白屏等）。

車載相機安裝問題車載相機校正問題車載相機故障故障原因分析診斷流程：首先進行車載相機安裝校正然后再排除車載相機自身問題最后考慮軟件系統問題車載相機的常見故障診斷車載相機裝調與檢測目錄DIRECTORY01.車載相機認知與安裝02.車載相機故障檢測03.車載相機標定03車載相機標定車載相機-原理視覺傳感器主要由鏡頭、影像傳感器、DSP等組成。被攝物體經過鏡頭聚焦至CCD，CCD由多個X-Y縱橫排列的像素點組成，每個像素都由一個光電二極管及相關電路組成，光電二極管將光線轉變成電荷，收集到的電荷總量與光線強度成比例，所積累的電荷在相關電路的控制下，逐點移出，經濾波、放大，再經過DSP處理后形成視頻信號輸出，再通過I/O接口傳輸到電腦中進行處理后，再通過顯示屏就可以看到圖像。車載相機-原理視覺傳感器按一定的分辨率，以隔行掃描的方式采集圖像上的點，當掃描到某點時，就通過圖像傳感芯片將該點處圖像的灰度轉換成與灰度一一對應的電壓值，然后將此電壓值通過視頻信號端輸出。視覺傳感器連續地掃描圖像上的一行，則輸出就是一段連續的電壓信號，電壓信號的高低起伏反映了該行圖像的灰度變化。視覺傳感器有兩個重要的指標：分辨率和有效像素。車載相機-圖像處理數字圖像處理就是將圖像轉換成一個數據矩陣存放在存儲器中，然后再利用計算機或其它的大規模集成數字器件對數據矩陣信息進行數字處理，以達到所預期的效果。黑白圖像的矩陣表示灰度圖像的矩陣表示彩色圖像的矩陣表示車載相機-圖像處理具有一定聯系的、具有時間先后關系的圖像稱為序列圖像。我們所經?？吹降碾娨晞』螂娪皥D像主要是由序列圖像構成的。序列圖像是數字多媒體的重要組成部分。序列圖像是單幅數字圖像在時間軸上的擴展，可以將視頻的每一幀視為一幅靜止的圖像。數字圖像的矩形表示車載相機-圖像處理數字圖像處理層次為：圖像處理—圖像分析—圖像理解圖像處理，指對圖像進行各種加工以改善圖像的視覺效果、或突出有用信息，并為自動識別打基礎，或通過編碼以減少對其所需存儲空間、傳輸時間或傳輸帶寬的要求。圖像分析，對圖像中感興趣的目標進行檢測（或分割）和測量，以獲得它們的客觀信息，從而建立對圖像中目標的描述，是一個從圖像到數值或符號的過程。圖像理解，在圖像分析的基礎上，進一步研究圖像中各目標的性質和它們之間相互的聯系，并得出對圖像內容含義的理解（對象識別）及對原來客觀場景的解釋（計算機視覺），從而指導和規劃行動。車載相機-邊緣檢測圖像的邊緣是指其周圍像素灰度急劇變化的那些像素的集合，它是圖像最基本的特征。邊緣存在于目標、背景和區域之間，所以，它是圖像分割所依賴的最重要的依據。由于邊緣是位置的標志，對灰度的變化不敏感，因此，邊緣也是圖像匹配的重要的特征。邊緣檢測基本思想是先檢測圖像中的邊緣點，再按照某種策略將邊緣點連接成輪廓，從而構成分割區域。道路邊緣檢測示例車載相機-邊緣檢測邊緣大致可以分為兩種：一種是階躍狀邊緣，邊緣兩邊像素的灰度值明顯不同；另一種為屋頂狀邊緣，邊緣處于灰度值由小到大再到小變化的轉折點處。圖5-19中，第1行是一些具有邊緣的圖像示例，第2行是沿圖像水平方向的1個剖面圖，第3和第4行分別為剖面的一階和二階導數。第1列和第2列是階梯狀邊緣，第3列是脈沖狀邊緣，第4列是屋頂狀邊緣。實現圖像的邊緣檢測，就是要用離散化梯度逼近函數根據二維灰度矩陣梯度向量來尋找圖像灰度矩陣的灰度躍變位置，然后在圖像中將這些位置的點連起來就構成了所謂的圖像邊緣。車載相機-邊緣檢測視覺傳感器標定包括內參和外參標定，其中內參標定主要是像素、焦距、圖像原點、是否畸變等，內參通常在傳感器生產過程中固定。我們指的視覺傳感器標定通常是外參標定，主要包括距離、角度等外部參數的標定，即視覺傳感器坐標系相對于世界坐標系的旋轉矩陣R和平移向量T等參數。a外參標定b內參標定車載相機-邊緣檢測由于像素直角坐標系中(u,v)只表示像素位于數組中的列數與行數，并沒有物理單位表示出該像素在圖像中的位置，因此需要建立以物理單位表示的圖像物理坐標系（o1,X,Y）像素坐標系與物理坐標系的轉換

車載相機-邊緣檢測傳感器坐標系與世界坐標系

車載相機-邊緣檢測相機標定方法有：傳統相機標定法、主動視覺相機標定方法、相機自標定法等。傳統相機標定法需要使用尺寸已知的標定物，通過建立標定物上坐標已知的點與其圖像點之間的對應，利用一定的算法獲得相機模型的內外參數。根據標定物的不同可分為三維標定物和平面型標定物。自標定算法中主要是利用相機運動的約束。相機的運動約束條件太強，因此使得其在實際中并不實用。利用場景約束主要是利用場景中的一些平行或者正交的信息。其中空間平行線在相機圖像平面上的交點被稱為消失點，它是射影幾何中一個非常重要的特征，所以很多學者研究了基于消失點的相機自標定方法?；谥鲃右曈X的相機標定法是指已知相機的某些運動信息對相機進行標定。該方法不需要標定物，但需要控制相機做某些特殊運動，利用這種運動的特殊性可以計算出相機內部參數。車載相機-標定步驟設備或儀器：車載相機，操作電腦，標定板。1.開啟電腦和智能傳感器裝配調試臺架。2.檢查車載相機是否安裝合理，驗證裝調是否成功。3.啟動計算機視覺傳感器參數標定軟件，標定物距、角度等外參。4.映射虛擬機攝像頭硬件設備。5.啟動的攝像頭驅動程序，輸入標定命令。6.將標準標定板置于車載相機前方，緩慢的移動標定板。7.采集數據完成后，啟動標定按鈕，開始標定。8.存儲標定的數據文件。9.恢復各模塊初始位置，關閉調試軟件。10.清理實驗環境。車載相機-標定1.映射虛擬機攝像頭硬件設備

打開虛擬機的ubuntu系統之后，按照下圖所?的操作進?攝像頭的設備映射操作。

映射之后打開終端執?以下命令，如果出現video0表?設備映射成功，否則請檢查攝像頭硬件。車載相機-標定2.打開攝像頭驅動和攝像頭標定軟件打開兩個終端，第?個終端執?以下命令來啟動攝像頭驅動軟件，如下圖的左邊所?：ls/dev/video0cdusb_cam/sourcedevel/setup.bashroslaunch

usb_cam

usb_cam-test.launch第?個終端執?以下命令來啟動攝像頭內參標定軟件，如上圖的右邊所?：cdusb_cam/sourcedevel/setup.bashrosruncamera_calibrationcameracalibrator.py--size7x7--square0.018image:=/image_raw0camera:=/camera--no-service-check注意，先執?左邊終端的攝像頭驅動程序之后，再執?右邊終端的標定程序。3.進?攝像頭內參保定a.步驟2執?之后，會出現如下攝像頭內參標定上位機界?：車載相機-標定b.使??格標定板進?攝像頭內參標定，對準攝像頭，前后移動標定板，標定界?會有進度條提?，當標定采集到?夠的標定數據時，上位機界?的CALIBRATION按鈕會變綠?，此時即可??標點擊該按鈕進?標定數據分析，注意：前后移動標定板的時候稍微上下左右傾斜可以加快標定速度，標定時候會有卡頓現象，需要慢慢移動標定板