1、彩色CMOS圖像傳感器的圖像采集方式在CMOS圖像傳感器的光電轉換過程中，光子轉換為電荷的多少與光波波 長關系不大，所以它原本是單色傳感器。彩色CMOS圖像傳感器是通過應用微 平板技術，在每個像素上鍍上顏色濾光器制造出來的。各像素濾光器顏色分配常 采用傳統的“Bayer”模式，每四方相鄰的四個像素構成一組，每組有兩綠、一紅、 一藍。多出的綠色像素是為了使傳感器的輸出更接近于人眼對光的反應。為了將盡可能多的光線都集中到像素的光敏單元，常常還給CMOS圖像傳 感器每個像素裝上微透鏡。微透鏡有兩種方法實現。一種方法是將塑料在每個像 素上沉積為圓形或正方形;然后采用腐蝕或融制的方法，將透鏡變為彎形。還

2、有 一種技術是通過幾個掩模蝕刻步驟，在不同顏色像素上制成不同的臺階狀透鏡。最常見的CMOS圖像傳感器器件的數據輸出格式是Bayer原始數據輸出格 式。Bayer原始數據的一般格式為：奇數掃描行 GRGRGR.GRGR偶數掃描行BGBGBG.BGBG數據采樣時，奇數掃描行的第1, 2, 3, 4.像素分別采樣和輸出G, R, G, R.數據;偶數掃描行的第1, 2, 3, 4.像素分別采樣和輸出B, G, B, G.數據。在像素顏色值的后處理過程中，首先要根據一定的彩色圖像恢復算法，參照 該像素周圍的另兩種顏色像素，估計出該位置像素本來RGB三色的分量值。3.6.2 DM6467 視頻端口使用一

3、般的DSP芯片做設計時，我們需要把視頻采集芯片輸出的視頻信號 放到FFIO中，然后通過DSP的外部數據總線傳輸到DSP內部。這種設計方法 在硬件實現上比較復雜，需要增加FFIO芯片，并且在和DSP外部總線的連接上 也增加了復雜度。此外，視頻格式多種多樣，DSP把視頻信號都作為普通的數據 會出現各種實際的問題，如信號格式和同步的問題28。多媒體處理器的出現，解決了這一問題。以DM6467為例，它有三個20-bit 的視頻端口，我們在設計時無需外加緩存芯片，而且可以把視頻采集、顯示芯片 直接連接到端口上。DM6467的每個視頻端口都包含了兩個通道A和B20，但是整個端口總是 被配置成一整個采集或者

4、顯示模式。在被配置成同一模式的前提下，16/20-bit 的端口可以被分為兩個8/10-bit的通道。FFIO緩存的容量總共是5120-Byet,可 以分配給兩個通道。在網絡攝像機的設計中，我們把視頻端口配置成采集模式。DM6467的視頻采集端口可實現以下功能：采集速率可以達到1 GHz;兩路8/10 bit數字視頻輸入，數字視頻可以為YCbCr4:2:2格式或者ITU-R B.T656格式，精度為8bit或者10bit;一路YUV4:2:2格式的Y/C 16/20-bit數字視頻輸入，兩個8/10-bit通道分 別輸入 Y 和 Cb/Cr 信號。支持 SMPTE260M, SMPTE274M

5、, SPTE296M, ITU-BT1120 等標準；通過A/D轉換器的直接連接，能夠同時接收兩路10-bit或一路20-bit的 原始視頻數據(Raw Data)。DM6467的每個視頻端口都包含了一個FIFO來儲存輸入或輸出的視頻數 據。視頻端口和芯片內部的DMA傳輸器一起在視頻端口 FIFO與外部或片上內 存之間搬移數據。3.6.3網絡攝像機的視頻采集模塊設計前文提到，CMOS APS圖像傳感器在價格、性能和功耗等各方面都優于CCD 圖像傳感器，而且集成了很多圖像處理功能，因此在本文的網絡攝像機采集模塊 設計中，我們選用了 Micron公司生產的CMOS APS圖像傳感器芯片一一 MT9

6、T001。MT9T001是一款OXGA格式(有效像素為2048*1536)的CMOS數字圖像傳 感器。芯片上集成了模擬及數字自動增益調整、電平偏置調整。視窗大小切換、 行列調整和閃光模式等功能，這些功能都可通過12C總線接口進行編程控制【26。這款300萬像素的傳感器除保持了 CMOS圖像傳感器器件一貫的小巧、低 價、集成度高的優勢外，還額外增加噪聲抑止功能，具備了 CCD傳感器的低噪 聲特性，能夠提供高清晰的銳利影響，并能捕捉到連續和靜態圖像，可以為本文 的高清晰度網絡攝像機提供高質量的視頻信號數據。功能框圖如圖3-4所示。Two-WireSerialClockSyncSignals10-b

7、itData圖3-4 MT9T001功能框圖Fig.3-4 Function Diagram of MT9T001DM6467和CMOS圖像傳感器的連接如圖3-5所示。為了接收視頻數據， DM6467的視頻端口必須配置成原始數據采集模式。在這種模式下，DM6467對 接收到的數據不作任何選擇或插值處理。這種操作模式適合接收CMOS圖像傳 感器等特殊格式的數據。由于是傳輸原始數據，DM6467和MT9T00l之間的連 線也相對簡單，不需要行、場同步信號。當CAPENA信號被使能后，VPID數據 總線將開始接收數據;采集速率由CMOS傳感器的PIXCLK時鐘決定。DM6467 通過12C總線(SC

8、L和SDA)控制CMOS圖像傳感器的工作模式。CLK_IN PIXCLK LINE_VALIDD9:0SCLKSDATA TRIGGER SROBE RESETz STANDBYOEzVCLKINAVP1CLK0CAPENAVP1CTL0VP1D9:0SCLSDAGPO1GPO21 一,.*-J., SYSRESET圖3-5 DM6467和MT9T001的電路連接Fig.3-5 The Connections Between DM6467 and MT9T0013.7音頻傳輸模塊考慮到多媒體監控這個發展方向，本文對利用DM6467的多通道音頻串口 (McASP)實現音頻輸入、輸出模塊，擴展了網

9、絡攝像機的應用。音頻輸入模塊的 作用是把輸入的模擬音頻信號，經過A/D轉換并壓縮編碼后，交由網絡模塊傳 輸到以太網上。音頻輸出模塊則是將網絡模塊接收到的音頻數據進行解碼和D/A 轉換后，通過3.5mm的音頻端子輸出。音頻傳輸模塊的功能結構圖如圖3-6所 示。圖3-6音頻傳輸模塊的功能結構圖Fig.3-6 Audio Transmission Modules of the Function Structure3.7.1 DM6467的多通道音頻串口 (McASP)McASP的功能是為多通道的音頻應用提供一個通用的串行接口，它支持 TDM流，I2S(Inter-Integred Suond)協議等

10、多種音頻傳輸。McASP包括了傳輸和 接收部分，它們可以完全獨立的傳輸不同的音頻數據格式、工作在不同的時鐘。 當然，傳輸和接收部分也可以被同步。McASP的特點包括：兩個獨立的時鐘(發送和接收)；8個串行數據通道，獨立可分配；每個時鐘包括：可編程的時鐘生成器；可編程的幀同步生成器；支持時隙大小包括8、12、16、20、24、28和32bits。利用DM6467的多通道音頻串口，我們選用一片音頻編解碼芯片(Codec)直 接和它連接，就可以完成所需的音頻傳輸功能【2013.7.2音頻編解碼芯片由于在網絡攝像機中音頻傳輸是一個輔助性的模塊，我們希望它不要占用太 多的電路板空間和系統資源。同時，為了

11、滿足高采樣率、高信噪比、高速數據傳 輸及控制靈活方便等要求，我們選擇了 Tl公司的音頻編解碼芯片 (CODEC)TVL320AIC33芯片來實現音頻模塊的功能。TLV32OAIC33是一款把模擬功能高度集成的高性能立體聲音頻編解碼器，主要由以下功能模塊構成291兩路D/A轉換輸出一一 Line_Out和耳機輸出AIC33片內兩路Sigma_delta型DAC轉換電路可提供100dB的輸出信噪比， 數據精度為16位，采樣率可以在8k到96k的頻率范圍內調節。左右兩路聲道經 DA變換后的模擬量直接從ROUT和LOUT引腳輸出;同時也可以經片內可調增 益放大器放大后，分別從RHPOUT和LHPOUT

12、引腳輸出耳機信號.，網絡攝像 機利用兩個可以選擇的0歐姆電阻，可以根據不同的應用場合選擇。默認的狀態 是RHPOUT和LHPOUT輸出耳機信號。兩路A/D轉換輸入一一 Line_In和麥克風輸入AIC33片內兩路Sigma 一 delta型ADC轉換電路可提供90dB的輸出信噪比， 數據精度為16位，采樣率可以在8k到96k的頻率范圍內調節。所采樣的左右兩 路模擬信號分別從RLINEIN和LLINEIN引腳輸入，經可調增益放大器放大后送 入ADC轉換器的輸入端。通過設定片內的選擇器，ADC的輸入信號也可來自 MCINI引腳所接的麥克風。網絡攝像機系統使用兩個0歐姆電阻做為選擇開關， 根據不同應

13、用場合選擇。默認狀態是用RLINEIN和LLINEIN輸出。數字音頻接口AIC33通過數字音頻接口向外圍設備傳送兩路數字音頻數據;并通過數字音 頻接口從外圍設備獲取音頻數據，經D/A轉換器轉換成模擬信號輸出。數字音 頻接口支持多種工作模式，可方便的與多種外圍設備接口。串行傳輸時鐘最高可 達 20MHz。控制接口外圍設備通過控制接口向AIC33單向傳輸控制命令，AIC33片內的所有控 制寄存器均由控制接口修改。通過向控制接口發送命令，外圍設備可以方便地修 改AIC33的工作片內控制寄存器，從而實現對AIC33工作模式的控制，如調節 各通道增益，設定數字音頻接口工作模式等。同時，AIC33還具有很

14、低的能耗，回放模式下功率為23mW，省電模式下小 于15uw。硬件模塊選擇AIC33實現音頻模塊，可以保證測試系統對采樣頻率和 采樣精度的要求，提高測試結果的準確性。4運動目標檢測算法4.1運動目標檢測的一般方法早期的運動目標檢測主要是通過視頻幀的比較來檢測圖像的變化，即通過對 視頻數據的解碼，連續幀之間進行比較，對于像素灰度值變化較大的區域，判別 為有運動物體的存在，但是視頻幀數據的編碼一般都是有損壓縮的，這就一定會 存在誤報和不準確的現象。隨著編解碼等圖像處理技術的發展，以及研究人員對 運動目標檢測越來越多的關注，運動目標檢測算法得到了極大地豐富和發展，目 前運動目標檢測一般算法歸納為三類

15、:光流法、時間差分法和背景減除法。三類 算法通過采用不同的手段對圖像屬性進行比較，將圖像分割為各具特征的區域并 提取感興趣的目標，這里圖像的屬性包括了像素灰度值、顏色、紋理以及連續幀 之間不同相關性等。下面對三類算法的基本思想、具體實現和檢測性能，以及在 實際應用中改進的方向進行簡要介紹。4.1.1光流法光流法(Optical Flow)是指利用運動物體光流特性隨時間變化進行運動目標 檢測的方法，光流是由Gibson在1950年提出的一個概念，它是指空間的運動物 體使觀測面上的像素點產生運動的瞬時速度場，光流在圖像平面產生的是一種二 維的瞬時速度場，這種具有方向的二維速度場是現實三維空間中運動

16、物體在成像 表面上的投影，因此光流不僅包含了目標的運動信息，同時還包括目標的三維結 構信息，通過對光流分析可以得到場景中運動目標的速度、數目、相對距離以及 目標的結構特征等。假設用f (x, y,t)來表示像素點(x, y)在t時刻的亮度，u (x, y)和v (x, y)表示 該點此刻的光流在x和y軸上分量，在t + At時刻，該點運動到(x + Ax,y + Ay)位置， 即Ax = At xu(x, y)， Ay = At x v(x, y)，因為照度保持不變，則有：f (x + At x u (x, y ), y + At x v (x, y ), t + At)= f (x, y,

17、t)(式 4-1)f (x + At x u (x, y ), y + At x v (x, y), t + At)= f (x, y, t)(式 4-2)由于亮度隨x、y、t平穩變化，可將上式進行Taylor展開：f (x, y, t )+Ax f + Ay f + A應 + e (Ax, Ay, At)= f (x, y, t) axayat(式 4-3)f (x, y,t)+Axf + Ay f + Atf + e(Ax,Ay,At)= f (x, y,t) axayat(式 4-4)其中，e (Ax, Ay, At )是Ax、Ay、At 一階以上的所有高階項。當兩邊同時消除f (x,

18、y,t)項并除以At，同時使At 0，則有：af dx + af dy + af = 0ax dt ay dt at(式 4-5)因為光流u =半，v =當，令= f ，痔=f ，號=f，則： dt dtexx 刁yy cttf + f + f= 0(式 4-6)公式(4-6)表征了光流分量與空間和時間梯度之間的關系，稱之為光流場約束 方程。但是在圖像中，一個像素點存在u、v兩個未知變量，所以僅利用這一約 束方程，還并不能夠對光流進行唯一求解。因此不同的研究者又提不同的約束條 件，使用不同的方法來求解光流，其中比較常用如:Hom Sehunek方法，認為 光流在滿足光流約束方程的同時，又滿足全

19、局平滑性，最后經過復雜的推導，使 用變分法將光流約束方程轉化為一對偏微分方程，最終求解光流 ；Lucas 一 Kandade方法使用了 一種基于像素遞歸的方法進行光流求解，該方法不僅提高了 算法的精度，也減小了算法的復雜度，為光流法在實時系統的應用提供了可能。4.1.2時間差分法時間差分法(Temporal Difference)也稱幀間差分法，其基本思想是通過相鄰 幀之間差分，利用相鄰幀之間運動區域的強相關性進行檢測，然后通過對圖像序 列進行濾波處理來確定運動目標。時間差分法的理想假設是背景像素點的特征值 和位置在圖像序列中不會發生變化，然后通過比較視頻序列中相鄰幀的對應像素 點特征值來發現

20、存在變化的區域，即為運動目標區域。常用的時間差分根據差分幀數分為:兩幀差分法和三幀差分法兩幀差分法即在相鄰兩幀之間進行直接差分，在所得的差分圖像中利用門限 判決，像素值沒有發生變化或變化較小的區域，差分值較小，被作為背景刪除掉， 差分值大于門限的像素點包含了絕大部分的運動目標信息而被保留。假設視頻圖 像的第k幀表示為人(x, y )，(x, y)表示第x行和第y列對應的像素點，二值差分 圖像用Dk (x, y)表示，則有：D (x, y)= l (x, y)T (x, y)(式 4-7)得出差分圖像后，需要設置合理的閉值門限T，將差分圖像二值化為只有運 動目標的圖像M (x,y):kM (x,

21、 y)J, Dk (x，y口k0,else(式 4-8)在二值圖像Mk (x, y)中，1表示有運動目標出現的區域，0表示背景區域。這種最簡的時間差分法，門限T的選擇是算法檢測效果好壞的關鍵，T選擇的合 理性取決于運動場景中目標與背景的差異化，對于目標與背景差別明顯的場景， 應提高門限值，以利于對噪聲抑制，而對于目標與背景相似的場景，門限T的選 擇比較困難，過低容易出現大面積誤檢，而過高又容易將目標漏檢。因此，門限T 一般根據對具體場景的經驗值來設置，本文取CVRR的標準Laboratory原始 測試視頻進行測試，將門限T設置為20。兩幀差分法的計算速度最快，同時也只需要存儲相鄰的兩幀圖片，占

22、用的內存較少。兩幀差分法易受到噪聲干擾的影響，且檢測目標易出現重影，三幀差分 法能比較好的解決兩幀差分法中存在的一些問題，在實際應用中也更廣泛。三幀運動目標區域，差分法是指利用三幀圖像相鄰兩幀進行兩兩差分，然后將結果進行與運算來獲得 劉于第k幀的檢測過程可表示如下：M G, y)K G，y)-L G y)10else(式 4-9)M 2 G，y H0Ik+1(x，y(x，y)-Telse(式 4-10)Mk & y)T0M (x, y) M (x, y ) = 1else(式 4-11)三幀差分法較兩幀差分法具有更好的檢測性能，能夠消除背景顯露區，解決 重影問題，但是無論兩幀差分法還是三幀差分

23、法，差分法最大的缺陷在于無法完 整的檢測出運動目標的全部信息，對于內部紋理均勻而運動又十分緩慢的目標， 容易產生內部空洞現象，尤其當目標運動速度變化時，該方法檢測出目標存在嚴 重誤差。此外，在視頻監控中，檢測目標的多樣性，以及背景變化的復雜性，都 給門限T的設置帶來了很大的困難，根據經驗值設定的閉值門限T，不具備對場 景的適應性，而眾多的時間差分法研究者設計的自適應調整門限方法，往往在增 加巨大的計算代價同時，對同一場景內存在不同目標情況下，無法獲得合理的門 限值。當然，時間差分法本身也有諸多的優點，如檢測速度快，對于動態環境具 有較強的自適應性，因此差分法一般用于對目標形狀檢測要求不高，場景

24、中運動 目標種類比較單一，而對檢測實時性要求較高的應用環境等中。4.1.3背景減除法背景減除法(Background subtraction)是目前運動目標檢測中應用最廣泛的七(x, y )-Bk (x, y ) Telse一種方法，其基本思想是:首先利用檢測場景的可用有效信息構建背景圖像，然 后使圖像序列中當前幀圖像與背景參考圖像進行差分來檢測運動區域。Mk (x,y)=(式 4-12)從差分的意義上說時間差分法也可歸屬為背景減除法，但是它的背景圖像構 建過于簡單，僅僅利用了相鄰一幀作為圖像背景。背景減除法的關鍵就在于背景 圖像Bk (x, y )的構建，以及背景圖像是否可以根據背景的變化進行適當的更新。 一般的背景減除法工作流程如圖4.1所示。圖4.1背景差分法運動目標檢測流程Fig.4.1 Background Difference Method of Moving Object Detecting Process預處理部分主要完成對輸入視頻圖像的格式轉換和一些環境噪聲的消除，背 景建立和目標檢測是背景減除法的核心環節，目標的后處理主要是利用濾波手段 去除檢測結果的偽目標點，這三項也是論文后續研究的重點內容，在一般的建立 背景過程中都會引入檢測結果的反饋331可以根據檢測結果更好的進行背景的 更新。在背景減除法中，建立背景圖像一般是通過構