基于膚色分割與顏色特征融合的人臉定位方法

人臉及特征定位方法面部特征的定位是許多計算機視覺應(yīng)用程序中不可或缺的處理步驟。不同人之間面相的差別(如不同性別、種族、年齡等)以及單個人臉在不同條件(如不同光照、姿態(tài)、表情、裝飾物等)下表觀的差別導(dǎo)致人臉及特征定位是一個極具挑戰(zhàn)性的任務(wù)。由于人臉圖像是受到多種因素影響的復(fù)雜模式,如何找到一種有效的方法提取人臉特征已成為近年來計算機視覺領(lǐng)域的熱點問題之一,很多學(xué)者已經(jīng)提出各種各樣的算法,一般來講可分為:模板匹配方法,即預(yù)先定義描述整個人臉或各器官的標(biāo)準(zhǔn)模板圖像或輪廓,通過在整幅圖像中計算各區(qū)域與標(biāo)準(zhǔn)模板的相似度確定人臉是否存在,并可對人臉特征作初步定位。然而,模板匹配受圖像尺度、人臉姿態(tài)以及照明條件的影響太大,往往需要在多角度、多尺度下進行匹配,故導(dǎo)致匹配過程非常耗時。統(tǒng)計學(xué)習(xí)方法,即直接對人臉灰度圖像進行處理,通過大量樣本的訓(xùn)練,獲得人臉表觀模型,在此基礎(chǔ)上對圖像各區(qū)域進行判決。一般情況下,基于表觀的方法依賴于從人臉圖像和非人臉圖像進行統(tǒng)計分析和機器學(xué)習(xí)的技術(shù),典型的方法有ANN、SVM、Eigenfaces。這些方法在理論上十分可行,但是訓(xùn)練樣本的選擇和算法收斂均非易事。不變量特征描述方法,即在圖像中搜索不同姿態(tài)、光照、視點下關(guān)于人臉結(jié)構(gòu)或表觀的不變特征量。例如,基于幾何特征的方法提取眉、眼、鼻和嘴這類特征,然后建立描述這些特征之間相互關(guān)系的統(tǒng)計模型并用于定位人臉。由于圖像中不可避免地存在著光照變化、噪聲和遮擋,人臉特征往往會受到破壞從而影響特征識別。再如,基于色彩分析的方法利用姿態(tài)、尺度無關(guān)的膚色信息,在合適的色彩空間中建立人臉膚色的統(tǒng)計模型能有效地對彩色圖像中的人臉候選區(qū)域進行粗定位。由于利用了數(shù)字圖像的色彩信息,大大提高了人臉定位速度,基本能做到實時并且不受人臉旋轉(zhuǎn)或側(cè)轉(zhuǎn)的影響。但是,若需要精確提取各器官特征,仍必須采用形狀分析和幾何特征分析方法。考慮到定位精度及處理速度的要求,本文將膚色分割技術(shù)與灰度圖像的廣義對稱變換相結(jié)合,提出一種有效的人臉及特征定位方法。首先,根據(jù)人臉膚色統(tǒng)計模型確定人臉的待選區(qū)域,并通過二值圖像的Blob分析方法剔除無效區(qū)域;然后基于人臉待選區(qū)域的色度信息分割并檢測嘴唇區(qū)域;接著利用灰度圖像的廣義對稱變換獲得待選區(qū)域中可能的雙眼位置,并利用嘴唇位置信息,結(jié)合人臉幾何模型知識鑒別真實雙眼位置;最后,確定人臉其它器官的精確位置。實驗結(jié)果表明,當(dāng)存在頭發(fā)遮擋以及眼鏡干擾等不利因素時,該方法仍具有較強的魯棒性。1面部區(qū)域的初步定位1.1人臉圖像的二值化閾值分割在YCbCr空間中,人臉膚色的亮度(Y)變化獨立于色度(Cr、Cb)變化,并在Cr-Cb平面上近似呈2D高斯分布。設(shè)YCbCr空間中N個臉部像素的色度值為vk=[Cbk,Crk]T1(≤k≤N),則高斯概率密度分布函數(shù):式中μ和Σ分別是樣本集合的均值向量及協(xié)方差矩陣。為使膚色模型具有廣泛性,實驗中采用的人臉膚色樣本均來自Google圖像搜索引擎得到的數(shù)百張人臉圖像,其光照條件、人種、年齡、性別都有差別,樣本總數(shù)N=274457。根據(jù)(1)式可計算輸入圖像(圖1(a))像素的膚色概率密度,所得灰度圖(圖1(b))表示每個像素為人臉的似然程度。在隨后的二值化閾值分割中,若閾值過高,膚色區(qū)域數(shù)量突然增多,且單個區(qū)域面積減小;若閾值過低,則會把背景誤判為人臉區(qū)域。為此,借鑒分水嶺(Watershed)分割算法的思想,采用自適應(yīng)方法,即:閾值在某區(qū)間內(nèi)從大到小逐步降低,直至分割的區(qū)域總面積變化最小。然后,采用數(shù)學(xué)形態(tài)學(xué)中的“閉”算子對分割結(jié)果進行平滑處理以去除獨立的微小區(qū)域和空洞。最后,利用連通成分分析方法將每個分割的區(qū)域加以標(biāo)號,以便后面人臉區(qū)域判定。1.2人臉區(qū)域的劃分復(fù)雜背景下,膚色分割得到的人臉待選區(qū)域中,可能會存在很多和人臉膚色相近或相同的其它區(qū)域,也有可能裸露的手臂或前胸被誤判為人臉。二值圖像Blob分析方法能夠計算每個連通成分的形狀參數(shù),因而可以用于剔除非人臉區(qū)域,本方法采用的具體判定依據(jù)及過程如下:1)空洞數(shù)(h>1):眼睛和唇部的顏色同人臉膚色相差很大,在膚色分割過程中必然會形成人臉區(qū)域內(nèi)部的空洞,故只有空洞數(shù)大于1的區(qū)域才可能是人臉區(qū)域;2)長短軸比(08.<r<16.):人臉區(qū)域的包圍橢圓的長寬比應(yīng)該在某個限定的范圍內(nèi),手臂這類膚色區(qū)域的長寬比顯然比人臉大;3)傾斜角(-90°<θ<90°):除特殊情況外,人臉的中軸線不應(yīng)該是向下傾斜的。具體實現(xiàn)中,r和θ采用橢圓擬和方法計算。值得注意的是,為獲得準(zhǔn)確的擬和參數(shù),需填補待選區(qū)域中的空洞。若記像素坐標(biāo)為(xi,yi),則區(qū)域C的最佳擬和橢圓參數(shù)如下:中心(重心):(x,y)=(1Ai∈∑Cxi,1Ai∈∑Cyi)式中A是區(qū)域C的面積。根據(jù)θ,可對候選區(qū)域進行校正得到接近豎直的人臉區(qū)域,如圖1(f)。2關(guān)鍵函數(shù)定位人臉待選區(qū)域的提取對器官特征的定位極為有利,避免了對整幅圖像的處理和分析。后續(xù)的定位處理需要在每各待選區(qū)域中進行,避免遺漏。2.1幾何分割法的應(yīng)用通常,唇色同人臉膚色有較大的差別,并且相比與其它器官(如眼、鼻等),其覆蓋面積較大,因此可以首先定位嘴唇。唇色與膚色具有類似的分布聚集性,故利用基于統(tǒng)計模型的膚色分割也可以達到唇色分割目的。但在本文中,為避免建立唇色模型,簡化處理過程,采取了另一種有效的方法。我們發(fā)現(xiàn),在HSI(Hue-Saturation-Intensity)空間中,唇色的H分量往往集中在某個局部區(qū)域(如圖2(a)),因此直接分割H分量圖。為達到自適應(yīng)目的,利用直方圖分析法選取整個待選人臉區(qū)域中H值最小的10%像素進行分割。然后利用形態(tài)學(xué)的“開”運算去除唇部區(qū)域中的空洞并計算整個區(qū)域的重心作為嘴唇中心。仍然可以利用一些約束性質(zhì)剔除非嘴唇區(qū)域,如覆蓋面積、長寬比等。如果不存在滿足約束的嘴唇區(qū)域,那么可以判斷該待選區(qū)域為非人臉區(qū)域。2.2pi、pj和水平線之間的垂直切合人臉的眼、眉、嘴等都具有很強的幾何對稱性,這為定位這些器官提供了有利的線索,本方法采用灰度圖像的廣義對稱變換(GeneralizedSymmetryTransform-GST)定位雙眼,它對人臉偏轉(zhuǎn)、表情變化、光照變化甚至部分遮擋等條件不敏感,因而具有很強的魯棒性。GST是Reisfeld針對全局對稱性(鏡像對稱)變換的缺點提出的一種檢測物體點對稱性的局部算子,它對梯度圖像進行處理,用來描述圖像上各個像素的點對稱性。設(shè)任意像素pk=(xk,yk),k=,12,...,K的灰度為f(pk),則其邊緣強度和邊緣方向如下式:其中?pk=(?f(pk)/?y,?f(pk)/?x)是該像素的灰度梯度。如圖3(a)所示,pipj是連接邊緣像素pi和pj的直線(假設(shè)θi<θj),αij(0≤αij≤π)是直線pipj和水平線之間的逆時針夾角,作如下幾個定義:(a)中點為p的點對(pi和pj)集合:Γ(p)={(i,j)|(pi+pj)/2=p}(b)高斯距離加權(quán)函數(shù):,其中σ是尺度因子,與檢測物體的尺寸有關(guān),通過調(diào)整σ可獲得不同尺度上的對稱性。(c)相位加權(quán)函數(shù):P(i,j)=1[-cos(θi+θj-2αij)]1[-cos(θi-θj)],當(dāng)pi、pj兩點邊緣方向相對且與二者連線方向一致時P(i,j)最大。則點對pi和pj在p=(pi+pj)/2的軸對稱性貢獻為于是,p處的軸對稱變換為由于需要檢測眼眶的橢圓區(qū)域,因此我們采用GST的變化形式-徑向?qū)ΨQ變換(RadialSymmetryTransform-RST):它著重強調(diào)與主對稱方向垂直的方向上點對的作用,保證了被圖像邊緣包圍的某點處響應(yīng)最強。如圖3(b),我們所采用的對稱計算區(qū)域是圍繞眼眶由亮到暗變化的橢圓形,其短軸為人臉區(qū)域?qū)挾鹊?/20,長軸為短軸的2倍。根據(jù)(5)式計算徑向?qū)ΨQ強度圖(圖3(c))后,選取強度最大的20個點作為雙眼候選位置。若已知嘴心和人臉橢圓,則有先驗知識:雙眼應(yīng)位于嘴上部,且在人臉中軸線兩側(cè);雙眼連線應(yīng)垂直于人臉正直方向;雙眼距離應(yīng)該在0.5倍和1倍人臉寬度(2a)內(nèi)。因此,采用匹配代價函數(shù)的尋優(yōu)方法確定真正雙眼位置:首先,根據(jù)嘴心位置以及橢圓長軸方向?qū)⑺泻蜻x眼劃分為左眼候選點pl,l∈L和右眼候選點pr,r∈R。然后,對i∈L,j∈R計算如下匹配代價函數(shù):式中λ=.05α,γ(i,j)是直線pipj同水平方向夾角。搜索S最小值可得圖3(d)所示的雙眼位置。3進行精確定位在已檢測到的雙眼和嘴心位置的基礎(chǔ)上可以對人臉其它器官進行精確定位。限于篇幅,下面主要對人臉邊界定位作詳細(xì)介紹,其它特征定位可采用文獻中介紹的積分投影(integralprojection)方法,不再贅述。3.1人臉幾何結(jié)構(gòu)的確定對于正面人臉而言,頭頂邊緣、下頜邊緣、左耳根和右耳根定義了一個正橢圓,除左右耳外的絕大部分器官都處在該橢圓內(nèi)。一個比較合理的人臉幾何結(jié)構(gòu)如圖4(a)所示,其中的左、右眼心和嘴心構(gòu)成一個倒置等邊三角形,人臉幾何尺寸與該三角形具有比較固定的比例關(guān)系。該幾何模型是通過對大量的人臉測量得到的,具有廣泛性。3.2高樹立的好氧化學(xué)法測量細(xì)胞在不同個體間差異會導(dǎo)致下頜在橢圓模型的下邊界上下波動而左右臉頰分別在橢圓模型左邊界和右邊界左右波動。觀察可知,這些特征都是面部膚色及灰度強度垂直或水平過渡的邊界。因此,我們將校正姿態(tài)后的膚色似然圖與灰度圖作乘積得到如圖5(b)的復(fù)合圖,并采用水平和垂直方向的高斯微分算子(GaussianofDerivatives)計算復(fù)合圖兩個方向上的梯度。為精細(xì)檢測發(fā)髻、下頜及雙頰位置,在橢圓模型中定義如圖5(a)中4個虛線矩形,搜索各矩形內(nèi)梯度在兩個方向積分投影最大值即可確定各特征位置。4人臉定位算法在實際應(yīng)用中的驗證為評估本方法性能,采用了大量圖像進行測試,圖5給出部分結(jié)果。圖5(a)為圖1(a)定位結(jié)果,其中的人臉姿態(tài)偏斜。圖5(b)為大傾斜角姿態(tài)的人臉特征檢測結(jié)果。圖5(c)是對噪聲較強的視頻圖像定位結(jié)果。圖5(d-e)為佩戴眼鏡定位結(jié)果,其中圖5(d)定位成功,而圖5(e)中由于右眼鏡片反光干擾導(dǎo)致定位有誤差,但整個人臉基本上定位正確。圖5(f-g)中,雖然頭發(fā)將眼睛遮擋,但是仍然定位成功。實驗結(jié)果表明了本方法正確性。本文主要目的是針對原有人臉定位算法在實際應(yīng)用中的缺點,研究對姿態(tài)、遮擋及成像質(zhì)量等條件變化更具有適應(yīng)性的算法,主要用于室內(nèi)自然環(huán)境