1、2018/8/8我愛(ài)計(jì)算機(jī)視覺(jué)！清華& 開(kāi)源CVPR2018超高精度人臉對(duì)齊算 AB：52CV 我愛(ài)計(jì)算機(jī)視覺(jué) 今天清華& 開(kāi)源超高精度人臉對(duì)齊算 AB同時(shí)發(fā)布含10000張人臉的多屬性人臉關(guān)鍵點(diǎn)數(shù)據(jù)集該算法來(lái)自CVPR2018 Look at Boundary: A Boundary-Aware Face Alignment Algorithm人臉的邊緣信息和人臉關(guān)鍵點(diǎn)有很明顯的重要關(guān)系，而以往的人臉對(duì)齊（Face Alignment） 算法并沒(méi)有很好的利用邊緣信息，本文提出一種基于邊緣感知的人臉關(guān)鍵點(diǎn)檢測(cè)算法，將人臉 邊緣線所描述的結(jié)構(gòu)信息融入到關(guān)鍵點(diǎn)檢測(cè)中，極大地提升了算

2、法在大側(cè)臉、夸張表情、遮 擋、模糊等 情況下的檢測(cè)精度。倍速00:00/00:00Phil elson - Putter Face Alignment 用騰訊1/72018/8/8我愛(ài)計(jì)算機(jī)視覺(jué)文章主要解決了兩大問(wèn)題：1. 人臉關(guān)鍵點(diǎn)在各個(gè)數(shù)據(jù)集間歧義性，定義不一致問(wèn)題。文章通過(guò)捕捉對(duì)于人臉更通用的邊緣線信息， 將其作為人臉到關(guān)鍵點(diǎn)的中間媒介，使得不同數(shù)據(jù)集即使存在關(guān)鍵點(diǎn)差異，仍然可以相互輔助訓(xùn)練。2. 復(fù)雜情況下關(guān)鍵點(diǎn)檢測(cè)精度問(wèn)題。本文首先通過(guò)消息傳遞結(jié)合對(duì)抗學(xué)習(xí)得到高精度的邊緣線檢測(cè)結(jié)果，再將邊緣線信息多語(yǔ)義層次地融合到關(guān)鍵點(diǎn)檢測(cè)中，使得算法在復(fù)雜情況下的魯棒性大幅提升。 另外， 文章還提

3、出了新的人臉關(guān)鍵點(diǎn)檢測(cè)數(shù)據(jù)集Wider Facial Landmarks in-the-wild (WFLW)，包含10,000張帶有98個(gè)關(guān)鍵點(diǎn)和6個(gè)人臉屬性標(biāo)注的人臉圖像數(shù)據(jù)，包括 ，表情，照明，化妝，遮擋和模糊的變換，旨在幫助學(xué)界更有 性的評(píng)估關(guān)鍵點(diǎn)算法在各種條件 下的魯棒性。本文的邊緣感知的人臉關(guān)鍵點(diǎn)檢測(cè)算法在300-W Fullset上實(shí)現(xiàn)了3.49的平均誤差，其大大優(yōu)于state-of-the-art方法。利用在一個(gè)數(shù)據(jù)集上訓(xùn)練出來(lái)的邊緣信息，可以非常簡(jiǎn)單的用于 其他數(shù)據(jù)庫(kù)上的訓(xùn)練 。 結(jié)合300-W數(shù)據(jù)集的邊界信息，本文方法在COFW數(shù)據(jù)集實(shí)現(xiàn)了3.92的平均誤差（0.39% f

4、ailure rate ），而在AFLW-Full數(shù)據(jù)集的平均誤差為1.25。下圖展示了使用本文的邊緣信息建模方法，在三個(gè)數(shù)據(jù)庫(kù)上的關(guān)鍵點(diǎn) 任務(wù)性能提升應(yīng)用。第一列是來(lái)自不同數(shù)據(jù)庫(kù)的人臉圖像，第二列是使用本文算法得到的邊緣信息圖，第三列展示 了使用提取的邊緣信息跨庫(kù)融合增強(qiáng)了關(guān)鍵點(diǎn) 能力。2/72018/8/8邊緣感知人臉對(duì)齊算法概述我愛(ài)計(jì)算機(jī)視覺(jué)（ 查看大圖）Boundary-Aware Face Alignment框架（a）基于hourglass網(wǎng)絡(luò)的邊緣熱圖估計(jì)器（Boundary heatmap estimator），用于估計(jì)邊緣熱圖。 引入消息傳遞層以處理遮擋。（b）邊緣感知關(guān)鍵點(diǎn)回

5、歸器（Boundary-aware landmarks regressor）用于生成關(guān)鍵點(diǎn)的最終 。 引入邊緣熱圖融合方案，將邊緣信息納入回歸問(wèn)題的特征學(xué)習(xí)中。（c）引入對(duì)抗學(xué)習(xí)，邊緣有效性鑒別器（Boundary effectiveness discriminator）區(qū)分“ 真 實(shí)”邊緣熱圖與“ 邊緣熱圖，用于進(jìn)一步 估計(jì)的邊界熱圖的質(zhì)量。在關(guān)鍵點(diǎn)回歸過(guò)程中，邊緣熱圖信息更像是一種可以跨庫(kù)提取的通用特征！WFLW人臉庫(kù)作者提出的Wider Facial Landmarks in-the-wild (WFLW) 人臉關(guān)鍵點(diǎn)庫(kù)，包含10000個(gè)人臉，98個(gè)關(guān)鍵點(diǎn)，7500個(gè)用于訓(xùn)練，2500個(gè)

6、用于測(cè)試。該庫(kù)最大的特點(diǎn)是，同時(shí)標(biāo)注了人臉 的屬性信息，即遮擋， ，化妝，光照，模糊和表情，可以非常容易的 算法在某一類人臉上的性能評(píng)估。3/72018/8/8我愛(ài)計(jì)算機(jī)視覺(jué)性能評(píng)估4/72018/8/8我愛(ài)計(jì)算機(jī)視覺(jué)在300-W庫(kù)上的性能評(píng)估結(jié)果，大幅超過(guò)了所有主流方法。在WFLW庫(kù)上的性能評(píng)估結(jié)果，同樣大幅超過(guò)了所有主流方法。為驗(yàn)證邊緣信息在特征點(diǎn)檢測(cè)上的通用有效性，作者將300-W上提取的邊緣熱圖信息直接用于COFW-29和AFLW庫(kù)上，請(qǐng)注意他們?cè)紭?biāo)注的點(diǎn)數(shù)是不同的，以往這樣的庫(kù)是難以統(tǒng)一利5/72018/8/8用起來(lái)的。我愛(ài)計(jì)算機(jī)視覺(jué)在COFW-29和AFLW庫(kù)上的性能評(píng)估結(jié)果，同樣超過(guò)了所有主流方法。在COFW-68 testset上的CED曲線，精度優(yōu)勢(shì)異常明顯！運(yùn)行速度60ms on TITAN X GPU。6/72018/8/8我愛(ài)計(jì)算機(jī)視覺(jué)本文對(duì)人臉邊緣信息進(jìn)行建模，融入特征點(diǎn)檢測(cè)算法中，取得了異常明顯的性能提升。能否把 這樣的信息用于人臉識(shí)別等其他任務(wù)中呢？期待有 有趣的技術(shù)被發(fā)明出來(lái)。代碼主頁(yè)：在“我愛(ài)計(jì)算機(jī)視覺(jué)” 云 地址。回復(fù)lab，可以收到該算法 、代碼和WFLW數(shù)據(jù)庫(kù)的點(diǎn)擊閱讀原文