CVPRNTIRE比賽雙冠，網(wǎng)易互娛AILab

是這樣做的近日網(wǎng)易互娛AILab獲得第七屆NTIREHDR比賽的全部兩個賽道的冠軍。網(wǎng)易互娛AILab一直致力于利用AI提升美術(shù)生產(chǎn)效率，助力游戲貼圖資源自動升級，目前相關(guān)技術(shù)已應(yīng)用于貼圖、UI等游戲資源的精度和細節(jié)的提升，為多個游戲提供技術(shù)支持。本文將詳細解讀他們的雙冠比賽方案。近日，圖像修復領(lǐng)域最具影響力的國際頂級賽事一一NewTrendsinImageRestorationandEnhancement(NTIRE)結(jié)果出爐，網(wǎng)易互娛AILab包攬了高動態(tài)范圍成像(HDR)任務(wù)全部2項冠軍。NTIRE比賽每年舉辦一次，目前已是第七屆，主要聚焦圖像修復和增強技術(shù),代表相關(guān)領(lǐng)域的趨勢和發(fā)展，吸引了眾多來自工業(yè)界、學術(shù)界的關(guān)注者和參賽者，有著非常大的影響力。今年NTIRE比賽在計算機視覺領(lǐng)域的頂級會議CVPR2022(ComputerVisionandPatternRecognition)上舉辦。高動態(tài)范圍成像(HDR)任務(wù)的賽道1和賽道2分別有197個隊伍、168個隊伍報名參加，吸引了包括騰訊、頭條、曠視、螞蟻、快手在內(nèi)的工業(yè)界隊伍，以及清華大學、中科院、中國科學技術(shù)大學、實驗結(jié)果賽道1中，網(wǎng)易互娛AILab（ALONG）提出的方法在PSNR-口和PSNR上均是第一。如表1所示，主要評價指標PSNR-口比第二名高出了0.172,而第二到第四的PSNR…差距僅為0.089,相比第五名之后的隊伍更是拉開了0.45以上的差距。賽道2中，網(wǎng)易互娛AILab（ALONG）提出的方法取得了最低的計算量（GMACs）和最少的參數(shù)量（Param）。如表2所示，在超過基線方法PSNR和PSNR-U的基礎(chǔ)上，減少了約40倍的計算量。相比第二名和第三名有較大領(lǐng)先，僅使用了約一半的計算量。表1：賽道1（保真度賽道）結(jié)果排名表2：賽道2（低復雜度賽道）結(jié)果排名愛丁堡大學、帝國理工等國內(nèi)外高校。網(wǎng)易互娛AILab從眾多的強隊中脫穎而出，斬獲該任務(wù)的全部2項冠軍。這是網(wǎng)易互娛AILab奪得多項國際冠軍后，再次登頂國際AI競賽，展現(xiàn)了網(wǎng)易互娛AILab在人工智能領(lǐng)域的綜合實力。任務(wù)描述消費級的單傳感器相機在拍攝照明情況復雜的場景時，難以用一種曝光參數(shù)拍攝出曝光正常的照片。由于成像傳感器固有的局限性，譬如在高亮度區(qū)域因為過曝讓畫面呈現(xiàn)白色，從而導致這些區(qū)域細節(jié)的丟失。針對這個問題的解決方法是采用一個擴展的高動態(tài)范圍（HDR）記錄圖片，具體做法是在拍攝時分辨拍攝多張不同曝光參數(shù)的低動態(tài)范圍（LDR）圖片，然后通過算法把多張圖片融合成一張HDR圖片。此次比賽的目標是探索高效的HDR模型和技術(shù)方案，以達到實用化的使用需求。總計兩個賽道：（1）保真度賽道：在限定模型計算量（小于200GGMACs）的基礎(chǔ)上，盡可能取得更高的保真度，評價指標是PSNR-口；（2）低復雜度賽道：在超過基線模型指標（PSNR-口與PSNR）的基礎(chǔ)上，盡可能取得更低的計算量和更少的耗時，評價指標是GMACso數(shù)據(jù)集介紹本次比賽用的數(shù)據(jù)集包含1500個訓練樣本、60個驗證樣本以及201個測試樣本，每個樣本包括三張LDR圖片輸入，分別對應(yīng)短、中、長三種曝光水平，以及一個和中曝光對齊的HDR圖片，數(shù)據(jù)集是由Froehlich等人收集的，他們捕捉了各種各樣的具有挑戰(zhàn)性場景的HDR視頻。之前基于深度學習的HDR模型取得了不錯的效果,譬如AHDRNet、ADNet等，但缺點是計算量非常大，以官方提供的基線方法AHDRNet為例，計算量在3000GMACs左右。因此本次比賽的目的是尋求高效的多幀HDR重建方法。方法概述由于任務(wù)的兩個賽道均要求訓練高效的HDR模型，網(wǎng)易互娛AILab憑借以往對low-level視覺任務(wù)和輕量化網(wǎng)絡(luò)設(shè)計的經(jīng)驗積累，在基線模型的基礎(chǔ)上，提出了一個EfficientHDR網(wǎng)絡(luò)，包括高效的多幀對齊和特征提取模塊兩個模塊，同時優(yōu)化了模型的訓練方法。(1)在多幀對齊模塊，采用PixelUnshuffle操作在增大感受野的同時減少了特征圖的大小，大幅減少了后續(xù)的計算量。同時，采用深度可分離卷積替代對齊模塊中的普通卷積，大幅提高運算效率。(2)在特征提取模塊，采用深度可分離卷積替代普通卷積，SiLU激活函數(shù)替代ReLU,設(shè)計了一個高效殘差特征蒸儲模塊(EfficientRFDB)o另外，探索了網(wǎng)絡(luò)深度與通道數(shù)目之間的關(guān)系，在限定計算量下層數(shù)更深且通道數(shù)少的特征提取網(wǎng)絡(luò)，可以獲得更高的評價指標。(3)在訓練方法上，在常規(guī)的128x128圖片輸入LILoss訓練后，采用了256x256更大尺寸輸入+L2Loss進行訓練調(diào)優(yōu)。最后,使用基于SwinIR搭建的Transformer模型作為Teacher模型，對前述CNN模型進行蒸儲，結(jié)合CNN和Transformer各自的優(yōu)勢進一步提升模型效果。網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)的整體結(jié)構(gòu)基于官方提供的baseline模型AHDRNet進一步大幅改進和優(yōu)化，主要可以分成三個部分：多幀對齊模塊、特征提取模塊和圖像重建模塊。基于本次比賽的計算量目標考慮，對網(wǎng)絡(luò)部分做了以下設(shè)計：.PixelShuffle層：在多幀對齊模塊中使用PixelUnshuffle操作（PixelShuffle的逆操作），在不增加計算量的同時增大了感受野。在圖像重建模塊中使用PixelShuffle替代AHDRNet中的卷積操作，節(jié)省計算量。.深度可分離卷積：在多幀對齊模塊和特征提取模塊，采用Depthwise+lxl卷積的組合替換了網(wǎng)絡(luò)中的絕大多數(shù)卷積。.特征提取基礎(chǔ)模塊替換：在特征提取模塊采用RFDB+ESA替換AHDRNet中的DRDB,并采用SiLU激活函數(shù)替換ReLUo.深度vs寬度：在限定計算量下，平衡特征提取模塊深度和寬度取得更好的效果。以Track1的約束為標準，所有模型的計算量都在190G?200G之間（即更深的網(wǎng)絡(luò)意味著更少的通道數(shù)）。整體的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示，EfficientRFDB的結(jié)構(gòu)圖如圖3所示：網(wǎng)絡(luò)結(jié)構(gòu)圖EfficientRFDB結(jié)構(gòu)圖最后提交的Trackl和Track2模型均采用了上述的模型結(jié)構(gòu)，區(qū)別是使用EfficientRFDB層數(shù)和通道數(shù)有所不同，對Trackl,EfficientRFDB層數(shù)和通道數(shù)目較多，計算量是198.47GMACso對Track2,EfficientRFDB層數(shù)相近，通道數(shù)更少，計算量是74.02GMACso訓練過程目前HDR的論文或比賽的主要評價指標是PSNR-□，指先對輸出圖片和標簽圖片分別做色調(diào)映射tonemapping操作再計算其PSNR：其中,是指tonemapping操作。對圖像做了以下處理:其中,主流的方法是對色調(diào)映射后的圖片求LILoss,譬如去年NTIRE比賽的多幀HDR比賽冠軍ADNet是使用tonemapped后的圖片損失函數(shù),即：該研究訓練過程第一步同上使用LILoss,并在此基礎(chǔ)上加了后續(xù)三個finetune的過程，按順序分別是:.L2Lossfinetune：為了獲得更高的評價指標，在微調(diào)階段該研究采用了和PSNR計算一致的L2Loss代替LILoss：.大尺寸圖片+L2Lossfinetune：由于最后用了深層的網(wǎng)絡(luò)設(shè)計，網(wǎng)絡(luò)具有更大的感受野，采用256x256替代128x128的大尺寸圖片進行微調(diào)可以讓模型取得更好的