Abstract雖然人臉識別技術(shù)在識別受限的高分辨率網(wǎng)絡(luò)圖像方面取得了顯著的進(jìn)展，但在大尺度的自然無約束低分辨率圖像上卻并非如此。本文提出了一種基于深度學(xué)習(xí)的端到端的ComplementSuperResolutionandIdentity方法。Introduction與HR圖像相比，使用新構(gòu)建的Tiny自然低分辨率人臉數(shù)據(jù)集測試時，最新的人臉識別的性能會顯著下降，因?yàn)長R人臉圖像缺乏足夠的視覺信息來使深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)特征表示。Contributions1、 提出了一種基于一個統(tǒng)一的深度網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)行SR和Identity聯(lián)合學(xué)習(xí)的低分辨率人臉識別方法。與目前大多數(shù)FR方法在測試和訓(xùn)練中使用HR圖像不同，本文提出的方法通過提升人臉增強(qiáng)與識別的兼容性來提升LRFR任務(wù)模型的泛化能力。2、 引入了一種互補(bǔ)的超分辨率學(xué)習(xí)機(jī)制，克服了優(yōu)化SR模型所必須的與LR圖像相對應(yīng)的HR圖像的問題。將高質(zhì)量HRweb圖像的超分辨率知識轉(zhuǎn)化為天然LR圖像人臉數(shù)據(jù)，并在每一次小批量訓(xùn)練中受原生LR人臉的人臉識別標(biāo)簽約束。結(jié)合聯(lián)合學(xué)習(xí)，提出了一種互補(bǔ)的超分辨和特征聯(lián)合學(xué)習(xí)（CSRI）方法。3、 我們進(jìn)一步創(chuàng)建了一個大規(guī)模的人臉識別基準(zhǔn)，名為TinyFace，以方便在大規(guī)模的數(shù)據(jù)上通過深度學(xué)習(xí)研究LRFRoTinyFace數(shù)據(jù)集由169403張自然LR人臉圖像（平均20X16像素大小）組成，包含5139個標(biāo)記面部特征，用于1:n識別測試（從N個人臉中找出1個目標(biāo)）。數(shù)據(jù)集由各種公共的web數(shù)據(jù)搜集而來。在實(shí)驗(yàn)中，我們測試了四種最先進(jìn)的深度學(xué)習(xí)FR模型和三種超分辨率方法在TinyFace數(shù)據(jù)集上的性能。我們觀察到，現(xiàn)有的深度學(xué)習(xí)FR模型用TinyFace數(shù)據(jù)集測試性能顯著下降。研究結(jié)果還表明，與現(xiàn)有的LRFR方法相比，本文提出的CSRI模型具有一定的優(yōu)越性。Complement-Super-ResolutionandIdentityJointLearning對于自然LRFR，我們需要從LR無約束圖像中提取可身份識別的特征表示。為此，作者提出了一種基于補(bǔ)充的超分辨率和身份識別聯(lián)合學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)。這種方法基于以下兩個考慮：1、 聯(lián)合學(xué)習(xí)SR和FR,使其兼容性和互補(bǔ)優(yōu)勢最大化2、 補(bǔ)充的SR學(xué)習(xí)在缺乏對應(yīng)的HR自然圖像的基礎(chǔ)上，最大化模型對自然LR圖像的識別能力自然LRFR任務(wù)的主要挑戰(zhàn)是訓(xùn)練優(yōu)化SR模塊時，沒有對應(yīng)的HR圖片。為了解決這一問題，我們考慮通過利用輔助的HR圖像進(jìn)行知識轉(zhuǎn)移，在HR圖像的基礎(chǔ)上通過降采樣構(gòu)造LR|HR對。

SyntheticLRfaeeimae^s⑹NativeLRfaceimages(f)Facen&cagnitionnetwork(eJSuper-re^olutianoutputInputF&SyntheticLRfaeeimae^s⑹NativeLRfaceimages(f)Facen&cagnitionnetwork(eJSuper-re^olutianoutputInputF&?s[d)Super-resolutionsubnetworkCSRIOverview整個體系結(jié)構(gòu)包含兩個分支：橘色T人工合成的LR進(jìn)行SR-FR的分支：通過對降采樣操作生成的LR、HR圖片對進(jìn)行學(xué)習(xí)，提高SR和FR模塊的適配性和互補(bǔ)優(yōu)勢藍(lán)色T自然LR圖像進(jìn)行SR-FR的分支通過輔助的LR、HR圖片進(jìn)行學(xué)習(xí)，使網(wǎng)絡(luò)適配于沒有HR圖像的自然LR人臉圖像兩個分支共享參數(shù)JointLearningofSuper-ResolutionandFaceRecognition.將SR的輸出與FR的輸入進(jìn)行集成，利用端到端深度學(xué)習(xí)的優(yōu)勢。訓(xùn)練使用經(jīng)過人工降采樣處理的LR、HR圖像對｛lairJointLearningofSuper-ResolutionandFaceRecognition.將SR的輸出與FR的輸入進(jìn)行集成，利用端到端深度學(xué)習(xí)的優(yōu)勢。訓(xùn)練使用經(jīng)過人工降采樣處理的LR、HR圖像對｛lair、lahr｝和臉部特征標(biāo)簽｛y｝SR模塊的優(yōu)化采用MSE誤差：由于Lsr只是有利于圖像PSNR值的提升，而不是我們需要的LRFR的性能，所以在優(yōu)化模型時加入FR標(biāo)準(zhǔn)來解決這一問題，用softmax交叉熵?fù)p失函數(shù)來量化FR組件的性能(其中y為面部特征標(biāo)簽，py為預(yù)測概率)