PAGE11人像一比一比對測試方案2015年5月

目錄1 人像1:1比對測試介紹 3 測試目的 3 測試重點 3 測試內(nèi)容 4 測試指標 42 測試數(shù)據(jù)和環(huán)境準備 5 測試數(shù)據(jù)準備 5 查詢照準備 5 登記照準備 6 測試硬件形式 6 測試網(wǎng)絡(luò)環(huán)境 63 測試過程及說明 7 測試流程方法說明 7 靜態(tài)人像比對測試方法 7 參測單位輸入輸出 7 測試輸入 7 測試輸出 8 測試結(jié)果 84 測試計劃與安排 105 系統(tǒng)安全與數(shù)據(jù)安全 10人像1:1比對測試介紹測試目的人臉識別技術(shù)是基于人的面部特征信息進行身份識別的一種生物識別技術(shù)，通過先進、成熟的人臉識別技術(shù)可以全面的提升互聯(lián)網(wǎng)線上遠程開戶等業(yè)務的拓展和服務能力提升，并通過柜臺開戶優(yōu)化、VIP身份識別等功能優(yōu)化線下業(yè)務。人臉識別技術(shù)的應用順應了當前互聯(lián)網(wǎng)金融趨勢，全面推進業(yè)務創(chuàng)新拓展。人臉識別技術(shù)在近兩年飛速發(fā)展，計算機識別能力已超過人眼平均水平。同時，人民銀行近期下發(fā)遠程開戶意見征求稿，微眾、網(wǎng)商等互聯(lián)網(wǎng)銀行已對人臉識別技術(shù)探索應用。人臉識別技術(shù)在金融行業(yè)的使用正在迅速擴散。人臉識別技術(shù)在金融領(lǐng)域應用的核心在于取得判斷申請人當前人像照與申請人對應的個人證件照是否為“同一人”。無論業(yè)務場景如何變化，歸其根本還是兩張靜態(tài)圖片的1：1比對。因此在金融領(lǐng)域人臉識別技術(shù)的測試中，將靜態(tài)人像1：1比對的結(jié)果做為衡量人像識別產(chǎn)品性能的根本指標。人像1：1比對測試使得在自己的業(yè)務場景下，更好地了解行業(yè)技術(shù)的成熟度，比較各廠商識別能力。測試重點根據(jù)業(yè)務場景，驗證人像識別技術(shù)在具體業(yè)務上提供服務的能力。主要包括：金融領(lǐng)域需要人臉識別技術(shù)較低誤報率。人臉識別技術(shù)測試最常用的兩個指標是“誤報率”和“通過率”，所謂“誤報率”是指：不同人照片比對判斷錯誤的比例（換句話說：將不同人的兩張照片識別為同一個人），“通過率”是指：相同人照片比對判斷正確地比例（換句話說：將同一個人兩張照片識別為同一人的比例）。對于金融領(lǐng)域而言，比較兩者，誤報率尤為重要，因為：金融領(lǐng)域往往都是資金流動交易，若“誤報率”較高，則更容易將偽冒者識別通過非本人的賬戶身份，一旦發(fā)生資金操作，會帶來極大風險和隱患，故，銀行人像識別需求應希望較低的“誤報率”。測試數(shù)據(jù)量的大小，決定測試結(jié)果的參考性。測試場景和數(shù)據(jù)越接近真實業(yè)務場景，測試結(jié)果對于實際應用的參考越大。測試數(shù)據(jù)量越大，越能夠體現(xiàn)識別系統(tǒng)真實性能，考慮到現(xiàn)場測試環(huán)境，一般建議最好測試比對次數(shù)在百萬量級以上，以符合真實環(huán)境業(yè)務需求。測試內(nèi)容基于申請人當前拍攝照片（查詢照）與申請人提供信息（如姓名和身份證號碼）對應的登記照片進行靜態(tài)人像比對，從而判斷是否同一人。登記照片指證件照片或者證件水印照片。測試指標誤報率 ：不同人的查詢照和登記照判斷為同一人照片的比例；誤報率=將不同人的查詢照和登記照判斷為同一人照片的次數(shù)/總比對次數(shù)。通過率 ：同一人的查詢照和登記照判斷為同一人的比例；通過率=將同一人的查詢照和登記照判斷為同一人的次數(shù)/數(shù)據(jù)集中查詢照和登記照為同一人照片的總次數(shù)萬分之一誤報率下，通過率：在每10000次比對誤報1次的前提下，對相同人照片判斷正確的比例十萬分之一誤報率下，通過率：在每100000比次對誤報1次的前提下，對相同人照片判斷正確的比例測試數(shù)據(jù)和環(huán)境準備測試數(shù)據(jù)準備根據(jù)金融領(lǐng)域應用場景和測試結(jié)果的可參考性，應準備超過1000人的查詢照和登記照各一張。查詢照準備準備超過1000人的生活照，照片質(zhì)量建議：光照均勻，明亮，無反光或陰影；光源需是自然光或者室內(nèi)明亮白光自然無化妝人像端正，無明顯的抬頭、低頭、側(cè)臉人像清晰較清晰，人臉的雙眼皮、皺紋等明顯細節(jié)特征人像大小在150x150或以上（截取臉部頭像后）圖像大小一般在5KB(JPG圖像)以上神態(tài)自然，可微笑（但不露齒），無大笑、皺眉等明顯表情五官可見，眉毛、眼睛基本不被劉海、眼鏡等遮擋拍攝距離在2米以上，無拍攝距離過近導致的明顯失真參考樣例登記照準備準備超過1000人的身份證件照,是。如無法直接提供身份證件照，可提供每個人的真實姓名、身份證號碼，通過公安身份平臺（或接口方式）獲取對應地證件照片（可能含有水?。；蛘呤褂蒙矸葑C翻拍照，身份證翻拍照的照片質(zhì)量建議見附件。測試硬件形式測試可通過一下任何一種方式進行：測試硬件：建議配置高于CPU一顆i7-3770，內(nèi)存大于等于8G，硬盤大于等于200G。由參與測試廠商自行攜帶服務器設(shè)備。通過云服務進行測試。測試網(wǎng)絡(luò)環(huán)境參與測試廠商自行提供本次人臉識別測試的系統(tǒng)平臺，測試期間如需要通過網(wǎng)絡(luò)獲取公安證件照，提供內(nèi)網(wǎng)/外網(wǎng)，或自行準備3/4G無線網(wǎng)絡(luò)。測試過程及說明測試流程方法說明靜態(tài)人像比對測試方法測試數(shù)據(jù)輸入，由參測單位啟動測試，將A、B兩個文件夾導入識別系統(tǒng)中，（A文件夾存有所有查詢照）（B文件夾存有所有登記照），命名規(guī)則分別為：A文件夾，B文件夾。各參測單位分別在各自識別系統(tǒng)中比對A文件夾中每一張照片和B文件夾中每一張照片。生成比對結(jié)果，包括每次比對的相似度和用時。根據(jù)標準格式輸出csv文本文件。參測單位輸入輸出測試輸入A、B兩組照片文件夾，A文件夾內(nèi)是生活照、B文件夾中是登記照；測試輸出文本文件（格式：圖片A、圖片B、是否本人、比對分值、耗時長ms）測試結(jié)果a) 根據(jù)各參測單位提交結(jié)果分別整理，歸納分成兩張表，“測試照片通過表”和“測試照片不通過表”，根據(jù)相似度數(shù)值降序排列（從高到低）。如下圖所示：說明：根據(jù)參測單位照片依次比對相似度取值結(jié)果，填入“測試照片通過表”中的“相似度取值”列中。通過率計算：首先，通過上面的測試結(jié)果我們可以得出幾個參數(shù)值：A和B比對通過的人數(shù)量是N；A和B比對不通過的人數(shù)量是A*B–N；不通過的數(shù)據(jù)中，D為序列號，E為相似度值，在同一行；通過的數(shù)據(jù)中，F(xiàn)的取值為相似度值≥E的總次數(shù)；誤報率在萬分之一下，通過率的計算公式：步驟一：總測試比對次數(shù)/10000得出萬分之一誤報率下，不通過數(shù)據(jù)表中序列號，與之對應的相似度值E, 如果測試數(shù)據(jù)是1000對照片，則D=1000*1000/10000=100（D取整數(shù)，小數(shù)向前進一位），找到其對應的E值，假設(shè)E=78步驟二：根據(jù)“不通過表”相似度E找到“通過表”中對應的序列號F。假設(shè)F=923得出：萬分之一誤報率下，通過率=F/N；例子中的通過率為%。誤報率在十萬分之一下，通過率的計算公式：與上面類似，D=(A*B)/100000得出：十萬分之一誤報率下，通過率=F/N；測試計劃與安排測試時間為：月日時。各參測廠商攜帶程序和可能需要的硬件設(shè)備按時到達測試現(xiàn)場。系統(tǒng)安全與數(shù)據(jù)安全為了確保系統(tǒng)和數(shù)據(jù)的安全，將采取以下幾個措施：1、與參加測試單位之間簽訂保密協(xié)議，明確此次測試數(shù)據(jù)只能用于該項目。2