Car

情報(bào)局傳

感

器

原

理

及

其

在

無(wú)

人

駕

駛

車

輛

中的

應(yīng)

用Car

情報(bào)局第6講 視覺(jué)傳感器及其應(yīng)用1、視覺(jué)傳感器的基本原理2、

數(shù)字圖像處理3、

雙目立體視覺(jué)4、

全景成像5、

紅外成像6、視覺(jué)傳感器在無(wú)人車中的應(yīng)用7、應(yīng)用案例1視覺(jué)傳感器的基本原理1.1

視覺(jué)傳感器在無(wú)人車中的作用人類感知外部世界主要是通過(guò)視覺(jué)、觸覺(jué)、聽(tīng)覺(jué)和嗅覺(jué)等感覺(jué)器官，其中約80%

的信息是由視覺(jué)獲取的。1.1

視覺(jué)傳感器在無(wú)人車中的作用視覺(jué)傳感器相當(dāng)于無(wú)人駕駛車輛的眼睛，是實(shí)現(xiàn)無(wú)人駕駛車輛智能化的基礎(chǔ)。1.2

視覺(jué)傳感器的基本原理將二維光強(qiáng)分布的光學(xué)圖像轉(zhuǎn)變成一維時(shí)序電信號(hào)的傳感器稱為視覺(jué)傳感器。1.2

視覺(jué)傳感器的基本原理1.3

視覺(jué)傳感器的分類視覺(jué)傳感器按照芯片類型主要分為CCD和CMOS兩大類。電荷產(chǎn)生電荷量化信號(hào)輸出1.4

CCD的基本原理水桶導(dǎo)管量雨器CCD

的基本原理演示1.4

CCD的基本原理Car

情報(bào)局不同的水桶中，雨水量不相同1.4

CCD的基本原理CCD

的基本原理演示Car

情報(bào)局通過(guò)導(dǎo)管，水桶中的雨水向左側(cè)流動(dòng)1.4

CCD的基本原理CCD

的基本原理演示Car

情報(bào)局1.4

CCD的基本原理CCD

的基本原理演示1.4

CCD的基本原理CCD

的基本原理演示1.4

CCD的基本原理CCD

的基本原理演示1.4

CCD的基本原理CCD

的基本原理演示1.5

CMOS的基本原理1.6

CCD與CMOS的比較成像過(guò)程集成性速度噪聲功耗像素?cái)?shù)量靶面尺寸感光度信噪比焦距與視場(chǎng)角1.7

視覺(jué)傳感器的主要指標(biāo)2數(shù)字圖像處理2.1、數(shù)字圖像的形成過(guò)程視覺(jué)傳感器采集的圖像，經(jīng)過(guò)采樣、量化，最終獲得計(jì)算機(jī)可以處理的數(shù)字圖像。采樣列采樣行像素行間隔采樣列間隔?黑?灰?白?0128255采樣量化灰階2.1、數(shù)字圖像的形成過(guò)程像素（

pixel）：像素是一個(gè)面積概念，是構(gòu)成數(shù)字圖像的最小單位。像素為320×240的圖像像素為80×60的圖像2.2、一些基本概念灰度：圖像色彩亮度的深淺。圖像所能夠展現(xiàn)的灰度級(jí)越多，也就意味著圖像可以表現(xiàn)更強(qiáng)的色彩層次。如果把黑——灰——白連續(xù)變化的灰度值量化為256個(gè)灰度級(jí)，灰度值的范圍為0～255，表示亮度從深到淺，對(duì)應(yīng)圖像中的顏色為從黑到白。2.2、一些基本概念黑白圖像2.3、幾種常見(jiàn)的數(shù)字圖像灰度圖像2.3、幾種常見(jiàn)的數(shù)字圖像彩色圖像2.3、幾種常見(jiàn)的數(shù)字圖像序列圖像把具有一定聯(lián)系的、具有時(shí)間先后關(guān)系的圖像稱為序列圖像。我們所經(jīng)?？吹降碾娨晞』螂娪皥D像主要是由序列圖像構(gòu)成的。序列圖像是數(shù)字多媒體的重要組成部分。序列圖像是單幅數(shù)字圖像在時(shí)間軸上的擴(kuò)展，可以將視頻的每一幀視為一幅靜止的圖像。2.3、幾種常見(jiàn)的數(shù)字圖像2.4、數(shù)字圖像的矩陣表示在C語(yǔ)言中數(shù)字圖像處理運(yùn)算的核心部分如下:for(j=1,j<N+1;j++)for(i=1;i<M+1;i++){ (對(duì)

IP(i,j)

的具體運(yùn)算)}2.4、數(shù)字圖像的矩陣表示2.5

數(shù)字圖像處理的層次3雙目立體視覺(jué)3.1、雙目立體視覺(jué)的概念雙目立體視覺(jué)是模仿人的雙眼成像的原理，不僅能夠獲得二維圖像信息，還可以獲得目標(biāo)距觀測(cè)點(diǎn)的距離。3.2、雙目立體視覺(jué)原理雙目立體視覺(jué)三維測(cè)量是基于視差原理

。3.2、雙目立體視覺(jué)原理3.2、雙目立體視覺(jué)原理目的：由兩幅或多幅從不同視點(diǎn)拍攝的圖像恢復(fù)場(chǎng)景三維信息。兩個(gè)主要的子問(wèn)題：1）匹配問(wèn)題

->

視差圖相似而不是相同遮擋問(wèn)題:

場(chǎng)景的某些部分只在一幅圖像中可見(jiàn)2）重建問(wèn)題

->

3D地圖重建所需要的攝像機(jī)參數(shù)立體攝像機(jī)標(biāo)定3.3、雙目立體視覺(jué)的研究目的目的：由兩幅或多幅從不同視點(diǎn)拍攝的圖像恢復(fù)場(chǎng)景三維信息。步驟：圖像獲取攝像機(jī)標(biāo)定立體圖像校正立體匹配三維重建3.4、雙目立體視覺(jué)的研究流程最大分辨率1280×960焦距3.8mm，66°橫向視場(chǎng)角6mm，43°橫向視場(chǎng)角數(shù)據(jù)接口IEEE-1394a接口基線距離12cm和14cm尺寸276×36×41.8mm重量505g功耗＜4w3.5、無(wú)人車常用的雙目立體視覺(jué)系統(tǒng)Bumblebee

3優(yōu)勢(shì)：獲取的信息豐富，可獲得物體的距離信息。不足：受光照及環(huán)境的影響大；運(yùn)算量大。3.6、雙目立體視覺(jué)的優(yōu)劣4全景成像4.1、全景成像的概念全景圖像(Panorama)是指通過(guò)圖像拼接技術(shù)形成一個(gè)全視角、高分辨率的360°圖像。它是觀察者環(huán)視一圈所能看到景色的整合重現(xiàn)，能較好地表達(dá)完整的周圍信息。4.2

全景成像的實(shí)現(xiàn)過(guò)程方法1：使用全景視覺(jué)傳感器等專用設(shè)備直接拍攝環(huán)境圖像，生成全景圖像。該方法具有速度快、魯棒性好等特點(diǎn)，但這樣的設(shè)備一般比較昂貴。加拿大PointGrey公司的Ladybug相機(jī)由完全相同6個(gè)相機(jī)對(duì)360度全周進(jìn)行同時(shí)成像，

然后再進(jìn)行6幅圖像矯正和拼接，

以獲得同時(shí)成像的全景圖像。4.2

全景成像的實(shí)現(xiàn)過(guò)程方法2：采用普通的視覺(jué)傳感器獲得序列照片，通過(guò)圖像拼接的方法來(lái)獲得寬視角、高分辨率的全景圖像

。圖像拼接常用的方法包括：基于相位相關(guān)的拼接方法基于特征點(diǎn)的圖像拼接4.2

全景成像的實(shí)現(xiàn)過(guò)程5紅外成像5.1

紅外成像傳感器的原理將視場(chǎng)內(nèi)物體的紅外輻射接收到傳感器上，并將所接收到的輻射信號(hào)轉(zhuǎn)換成相應(yīng)的電信號(hào)，然后經(jīng)過(guò)放大和處理，形成可供觀測(cè)、處理的信號(hào)的裝置。5.2

遠(yuǎn)紅外熱成像的優(yōu)勢(shì)5.2

遠(yuǎn)紅外熱成像的優(yōu)勢(shì)5.2

遠(yuǎn)紅外熱成像的優(yōu)勢(shì)5.2

遠(yuǎn)紅外熱成像的優(yōu)勢(shì)5.3

帶有紅外線發(fā)射裝置的視覺(jué)系統(tǒng)6視覺(jué)傳感器在無(wú)人車中的應(yīng)用6、視覺(jué)傳感器在無(wú)人車中的應(yīng)用行人及車輛檢測(cè)軌道線提取6、視覺(jué)傳感器在無(wú)人車中的應(yīng)用交通標(biāo)志識(shí)別6、視覺(jué)傳感器在無(wú)人車中的應(yīng)用7應(yīng)用案例7.1

RealSense的特點(diǎn)7.1

RealSense的特點(diǎn)Intel

RealSense被動(dòng)式雙目立體視覺(jué)系統(tǒng)特征點(diǎn)光源主動(dòng)提供特征物體本身特征特征點(diǎn)采集特征點(diǎn)固定（結(jié)構(gòu)光）每次拍攝需提取特征點(diǎn)適應(yīng)性不依賴環(huán)境光源較暗環(huán)境下性能下降或無(wú)法工作7.2

RealSense的組成7.2

RealSense的組成7.3

編程實(shí)現(xiàn)加入

#include<librealsense/rs.hpp>，引入reals