1、基于全局運動估計的視頻圖像拼接在監控系統中的應用摘 要：文章通過云臺控制攝像頭拍攝的序列圖像實現實時的全景視圖拼接，利用金字塔分層的塊匹配方式以及參數仿射模型，快速、精確地估算各幀之間的運動參數，實現了多幀圖像的自動拼接，達到了實時擴大視頻監控范圍和視野的目的。關鍵字：視頻監控 全局運動估計 6參數仿射模型 全景圖l引言全 景視圖在諸多領域有著非常廣泛的應用，在虛擬現實中，它是一種重要的場景表示方式。在MPEG中的動態Sprite編碼通過對視頻序列進行全局運動估計， 可重構背景的全景視圖。在基于內容的視頻檢索中，用全景圖表示一段視頻，極大地壓縮了視頻數據量。本文結合上述文中提到的全景圖的優點，

2、提出了一種應用在 視頻監控中的全景圖拼接方法。通過云臺控制攝像頭左右往返運動實現實時的視頻序列圖像拼接，攝像頭所拍攝的幀之間的轉角和重疊區域并沒有嚴格限制，利用全 局運動估計方法，估算幀間運動參數，實現多圖像的拼接融合，有效地擴大了監視范圍和視野。2全景圖生成思路用攝像機采集得到 一系列圖像，將首幀做為基準全景圖，將下一幀與已有全景圖做全局運動估計，得到該幀的運動參數，根據此參數對當前幀進行變換，然后將該幀變形圖與已有的全 景圖進行拼接融合，重復上述步驟，即可生成該視頻序列的全景圖。其中，為了節約運行時間，保存每一幀的變形圖，當讀人一幀圖像時，將當前幀與前一幀的變形 圖做全局運動估計，這樣得出

3、的運動參數和每次與已有全景圖做運動估計得到的參數是一致的，并且由于單幀變形圖所占空間小，使得運算速度得以提高。3全局運動估計31全局運動的仿射模型幀間全局運動分析是一種基于模型的運動分析方法，在這里宜采用6參數的仿射模型來估算幀間的運動關系。該模型可描述圖像的平移、縮放、旋轉、仿射等線性變換：x=ax+by+cy=dx+ey+f(1)其中(w)代表k幀中像素的坐標，(x，y)代表k+l幀中像素的坐標，在該模型下定義參數矢量，其中分量e、f與平移運動有關，分量a、b、c、d與放縮、旋轉運動有關。32參數矢量估計要估計仿射模型的6個參數，至少必須獲得3 個非共線位置的運動矢量數據。通常情況下，可由

4、塊匹西法、光流分析等方法來進行。本文采用可以適應較大缶移矢量塊匹配法來進行參數估計。將圖像分為16xl6一共n小塊，求出各個小塊在上一幀的位移矢量，根據(1)有其中i為每個小塊的編號，axi、ayj為幀小塊中心點對應與上一幀在x，y方向上的運動矢量。此時定義能量函數pi，p：使得p，、p，取得最小值，其中n表示塊匹配中的分塊數。利用最小二乘法求解式(2)、(3)，使可得到一組線性方程：求解線性方程，即可得到參數矢量p。33分層運動矢量估計由于塊匹配計算量較大，故本文采用金字塔分層的塊匹配技術進行幀間運動估計，以提高運算速度，具體算法如下：首先，將圖像分為三層，最底層為原始圖像，中間層為原始圖像

5、經過2：l的采樣，大小變為底層圖像14大小(長、寬都減少一半)，最上層則為底層圖像116大小。這樣處理的好處是提高了后續運算的速度，且經過兩次濾波有效消除了高頻噪聲對運動估計的影響。通過計算最上層圖像的塊運動矢量，利用最小二乘估計法估算運動參數，由于塊匹配在有運動前景或者紋理不明顯的區域計算時不夠精確，故需要進行錯誤匹配點的剔除。計算所有運動矢量與用運動參數恢復出的運動矢量的平均誤差：其中，Axi、yi為第i小塊經過塊匹配計算出的運動矢量，為用運動參數恢復出的運動矢量。剔除塊匹配運動矢量中所有平均誤差值大于此平均誤差的矢量，用更新的運動矢量集合再次進行參數估計。再將最上層用參數估計恢復出的運動

6、矢量擴大一倍，作為第二層的運動矢量初始值，重復與最上層計算運動矢量相同的步驟，直至計算出圖像最底層的運動參數。所示見圖l為一段720 x576大小的視頻序列中利用16x16的塊匹配在某幀最上層圖像上求出的相對其上一幀的運動矢量。其中，白線表示迭代運算后的運動矢量，而黑線則麥示誤差計算后，被剔除的運動矢量。4圖像拼接確定了兩副待拼接圖像之間的變換關系，即可確定兩圖像的重疊部分。但由于兩圖像之間的光線強度差異，以及直接拼接造成明顯的拼接痕跡等原因使拼接效果受到影響，故拼接時還需做如下處理：41均衡光差在圖像間的重疊區域確定后，分別計算兩圖像在重疊區域的光照強度，將所有點的光強值相加，然后將兩個累加

7、值相除得到光照強度的比例，然后照此比例，將光照強度較強的圖像亮度降低。如圖所示見圖2兩幀圖像在均衡光差前后的拼接效果。42圖像無縫拼接在 圖像拼接過程中，如果直接將兩副圖像疊加融合，由于圖像亮度的差異，會使得新圖像有明顯的拼接痕跡，為了消除拼接縫隙，在兩副圖像的重疊區域，我們采用加 權合成的方式實現圖像間的平滑過渡。設幀k、k+l在區間(xl，x2)上重疊，則新圖像在這個區間(ij)點上的取值如下：f(i，j)=dfk(i，j)+(1-d)k+1(i,j)(7)其中d的取值范圍為(0，1)，變化規律為：在水平方向上從重疊區域的邊界到中心，從l到O漸變。這樣就保證了圖像拼接時在重疊區邊界部分有淡

8、人淡出的效果。5實驗結果實驗視頻采用的為一段從左至右方向拍攝的60幀視頻序列，每幀大小為720 x576象素，算法用VC+編寫拼接效果如圖3所示：6視頻監控中的應用視 頻序列拼接而成的全景圖可應用于視頻監控中用來擴大監控范圍。云臺控制攝像頭做水平或垂直方向往返運動，每往一個方向運動完畢后，可將此次拍攝下來的序 列幀進行全景拼接，重復此步驟，可看到不斷刷新的全景監控畫面，這樣操作比起單畫面的視頻監控極大的擴展了視野寬度，更加有利于監控人員的觀察和分析。7結論本 文利用全局運動估計算法，通過估算幀間的變換參數，實現了序列圖像的全景視圖自動拼接。在運動參數估算時，采用了金字塔分層的塊匹配運動矢量估算，有效地 提高了程序的運行速度，其中加入對于異常塊的剔除運算，大大提高了全局運動估計的精度。全局運動估計中用到的仿射模型使得本文中的方法對于視頻序列并無嚴 格要求，允許視頻圖像有鏡頭的傾斜、變形等情況，并對鏡頭轉角也無嚴格限定，另外在圖像間光照強度不一的情況下。本算法由于進行了均衡光差運算，達到了較 好的拼接效果。實驗證明，本算法能精確、快速的生成視頻序列的全景視圖，使得視頻監控的視野范圍擴大，具有較好的實用價值。參考文獻1 張益貞