緒論選題背景及研究意義計算機技術廣泛的應用極大方便了人們的日常生活。在計算機圖像技術方面，計算機視覺、數字圖像處理等得到鼎力發展，成功運用于生物工程、醫學醫療、工業生產、衛星遙感、地理測繪等領域(黃煒杰,趙雪琪,2022)[1]。通過這點可以看出但是在圖像攝制和收集過程中，由于諸多不確定因素，會帶給圖像質量傷害性的信息丟失問題。為此，以提高圖像的質量為目的，推動圖像處理技術發展成為熱點(魏睿琪,劉曉宇,2023)。現今，研究者們致力于探究如何運用圖像修復技術高效高質的完成圖像修復。傳統的數字圖像復原技術主要有兩個研究方向:基于紋理的復原和偏微分復原[2,3]。而隨著圖像處理技術的不斷提升，以大數據應用為背景的萬物互聯、云端計算等技術融入并改造升級了傳統產業。通過這些細節可以看出在圖像處理領域中的深度學習應用不同于傳統數字圖像處理，其在圖像分類識別中有著超高的準確率，已經成為圖像處理技術發展的熱點(韓磊陽,王悅晨,2021)。因此我們在目前階段的圖像修復算法研究中，急需把傳統算法與深度學習的圖像修復的核心思維的修復算法相結合。用傳統圖像修復技術與深度學習進行結合來實現傳統圖像技術向深度學習圖像處理技術的過渡，在傳統算法優勢中引進VGG模型針對修復難點的為古畫、壁畫、老照片、特殊照片等提出新的有效的修復方案意義非凡。課題研究現狀我們可以這樣說：人類的科學技術是隨著時代的發展而相輔相成蓬勃起來的，就數字圖像處理本身的發展而言，其也是隨著其他學科的進步而發展。其中，計算機作為數字圖像處理最重要的計算機器，在此狀態下在上個世紀取得了長足的進步，使得依賴于強大計算能力和大存儲容量的數字圖像處理得到了發展。隨著科技的發展和人們生活物質的完備，數字化的圖像融入人們生活成為主流(李文博,張欣悅,2021)[4]。圖像修復的技術越來越成為人們所關注的重點之一，越發的成為人們深入研究的熱門話題(王浩然,劉雅婷,2020)。傳統的圖像修復方法有兩大類：其中一類為基于結構模型的修復方法。BSCB模型是傳統數字圖像處理方面中基于結構模型的圖像修復算法的代表(陳俊熙,李芝和,2019)[5]。另一類就是利用紋理合成的方法進行圖像修復。于這種情景里最為經典的關于樣本塊的修復算法是2003年Criminisi等人提出的(趙宇辰,孫雨萱,2022)[6]。該算法最具有特點的就是最佳匹配塊選取，通過全局搜索的方式來確定與破損區域匹配度最大的目標塊來作為最佳匹配項。近年來，深度學習在圖像處理領域引起了轟動，大部分的深度學習結構都附帶圖像處理功能。在這一局勢下圖像處理儼然成為深度學習的一個重要研究領域，深受研究者熱議(周澤楷,吳佳怡,2023)[7,8]。在過去的十年里,深度機器學習技術發展速度最快的十年里。主要有兩個促進因素：一是計算機硬件的改朝換代，在硬件性能的提升的加持下，大規模神經網絡的開發時間大大縮短(鄭博文,馮曉萱,2020)。二是神經網絡的流程化設計和訓練門徑的改進化。在深度學習圖像處理方面，鑒于這種情況的存在依靠著行之有效的特征可視化能力和從圖片基礎數據中一層一層的提取信息的能力，促進深度學習在圖像的特征提取等應用中加快發展。圖像處理中深度學習的發展日新月異，未來空間巨大[9]。一方面，深度學習積極促進圖像處理的研究進展(黃睿哲,曹夢琪,2021)；從理論角度出發，只要方案接收的輸入信息與預期相符，其輸出就有望滿足設計目標。具體來說，若起始條件與參數配置準確無誤，且所采用的模型或方法論構建合理，則其成果將具有高度的信賴度和實用性。這既取決于輸入數據的精確性，也取決于分析框架的合理性、技術手段的前沿性以及研究途徑的恰當性。同時，還需考慮外部因素的干擾，以保證研究過程的可控性和可重復性，為結論的廣泛應用提供可靠支撐。另一方面，按照這種局勢發展各種與圖像處理相關的應用更是助長深度學習的快速發展。深度學習相關的方法在圖像恢復領域得到了廣泛的應用，并在圖像修復方面取得了較好的成果[10]。根據近年來圖像復原的研究趨勢，隨著人們需求的增加，深度學習圖像處理與傳統圖像處理的結合必將優缺互補帶給人們更好地圖像修復效果(楊子淳,許婉婷,2019)。本文中將利用該算法優先權的算法結合深度學習對Criminisi算法進行研究改進，用卷積神經網絡對圖像進行特征提取信息來替代傳統算法中的評判準則，對破損圖像進行修復處理。在此情境的作用下我們盼望在不久的未來，更多的學者能夠研究如何利用深度學習獲得的圖像特征來促進各方各面的快速進步，實現工業發展提高生活質量。論文主要研究內容及組織安排論文主要研究內容本文的算法基于傳統Criminisi算法發進行改進，針對其匹配準則進行改進，對其中各改進重點展開分析研究，其主要研究內容如下：（1）在Criminisi算法中加入VGG19卷積神經網絡進行圖片特征提取問題。在深度學習圖像處理中進行圖像分類涉及很多步驟，最為重要的就是提取圖像特征，其決定了最終結果的好壞[11]。按照這狀況來進行調用VGG19提取圖像特征可獲得大量特征數據，通過圖像特征可視化我們可以直觀了解到圖像的特征之間的不同，并且我們利用這些數據就可以選取出最佳匹配塊(徐銘杰,郭靜宜,2022)。（2）匹配塊大小與VGG19卷積神經網絡輸入大小相符問題。當待修復塊確定之后，與之相同大小的待匹配塊都僅為9×9。但輸入VGG19卷積網絡的圖片大小要求為224×224。故我們需要把待修復塊和匹配塊的大小均調節到合適大小且圖片色彩質量不能下降，以保證VGG19卷積神經網絡能夠正確完整的提取出圖片特征。這樣就能讓修復效果有保障(宋豪,蔣欣妍,2023)。對于上述方案的調試，本文從理論闡釋與實踐檢驗兩個角度進行。理論闡釋階段，詳細闡述了方案設計的核心原理與預期效果，通過理論模型的搭建與推理過程的展開，為后續的實驗提供了強有力的理論支撐。隨后，在實踐檢驗階段，本文精心組織了一系列測試，以驗證方案的有效性和穩健性。測試過程中，采用了嚴格的數據收集與分析方法，確保結果的準確無誤。此外，為了全面考察方案在多種條件下的適用性，本文還涵蓋了若干典型應用場景，并針對每種場景對系統參數進行了優化。這一過程不僅證實了方案的正確性和實用性，也為未來的研究提供了重要的參考。（3）VGG19網絡選取卷積層或池化層問題。在VGG19卷積神經網絡中，底層的卷積層擁有大量卷積核，根據現有的結果分析可以得出如下結論通過大量且不同的卷積核我們可以提取到更多圖像特征(胡景云,秦雪晴,2020)[12]。而高層的池化層則把經過卷積層的數據進行激活得到更具有識別性的特征。兩個不同網絡層的數據是不同的，我們通過對比比較可以為以后圖像修復選取更合適的網絡層，提高圖像修圖性能。（4）最佳匹配塊選取中特征差的計算問題。對于Criminisi算法來說，匹配準則是誤差平方和算法。但針對于VGG19提取出來的特征要進行特征差計算，需要合適的算法更準確的計算特征差。論文的組織安排第一章主要介紹圖像修復的研究背景和意義，并梳理傳統圖像修復算法發展歷史，分析深度學習方面圖像修復處理技術發展現狀。第二章簡述圖像修復的概念、圖像修復的視覺效果、評價指標、深度學習相關概念。并分析VGG19網絡結構，在此類條件下不難推斷出總結卷積神經網絡圖片特征提取優勢的原因。第三章內容為基于Criminisi算法進行改進的研究。梳理傳統Criminisi算法流程，針算法存在的一些亟待解決的問題，提出了一種解決方案，提供改進思路及實現理論依據。第四章安排為實際運用中的改進算法圖像修復效果及分析。選取三組待修復區域紋理程度不一的破損圖進行修復實驗，通過這點可以看出分析改進算法的修復效果，給出實驗效果對比數據。第五章總結了本文改進算法研究工作，并指出改進的圖像修復算法存在的問題并對該領域未來的發展方向提出了展望。圖像修復的理論知識及修復技術介紹圖像修復的相關理論圖像修復問題概述我們可以通過相應的數學語言來對某一事物進行數學描述，以提供嚴謹、合理的表達形式。針對于圖像修復問題，其數學描述如下圖2.1所示，圖中I表示目標圖像整體，通過這些細節可以看出其包含了U所表示的破損區域和S表示未受損的區域。用實際不存在的箭頭表示修復方向（修復方向不唯一）(羅嘉誠,程思琪,2021)。需要注意的是，傳統圖像恢復中修復受損區域所需的信息僅來自原始圖像，并且其修復方向大體由破損邊界向破損中心延伸(朱啟瑞,梁依諾,2019)。在此狀態下然而圖像復原方法中存在諸多不確定性因素，復原過程中數據微小的變化都可能造成整個整體修復效果的不確定性，因此圖像修復結果不是唯一的。圖2.1圖像修復數學模型圖像修復與視覺效果視覺效果指的是某一事物給人帶來直觀的視覺感受。一份未受損的圖像帶來的視覺效果往往總是令人滿意的，我們可以直觀了解到圖像所包含的信息。但不完整的圖像則會帶來一種不好的視覺效果，人們看不全圖像甚至無法理解圖像。并且在視覺心理上，于這種情景里人們會因破損部分信息的缺失而不斷去猜測以至于部分人會產生煩惱情緒(謝秉澤,潘美琳,2022)。上述結果也考慮到理論設計與實踐中存在的差異性，因此本文進行了細致的分析與調整。為了確保理論模型能夠更貼近實際操作環境不僅對理論框架進行了嚴謹的推導和驗證，還深入實踐領域通過更加多元化的研究方法等等方式收集了大量的同行內的其他第一手資料。這些實踐數據使研究能夠識別并理解理論模型在應用于實際情況時可能遇到的挑戰和偏差。并在此基礎上引入修正迭代優化來構建適應性更強的研究過程，并被應用于修正和完善現階段的成果，以提高其預測準確性和實用性，確保了研究結果的可信度和泛化能力。通過這些綜合考量本文不僅深化了對研究主題的理解也為相關領域的研究者和從業者提供了更具操作性和指導意義的理論工具。著名的格式塔理論就指出了人會利用已知信息去推斷未知信息。因此圖像復原跟視覺心理效果是密切相關。在做圖像修復時，一定要從視覺心理和視覺效果出發。做出符合人類視覺心理和具有視覺效果的修復圖(韓旭東,牛紫悅,2023)。圖像修復的評價方法從主觀和客觀來區分圖像復原的評價方法。主觀評價法，指通過人類觀察，用視覺效果來評價圖像復原的效果(董明軒,葉芷昕,2020)[13]。在這一局勢下客觀評價法，以計算機為評價工具，用其進行相應數學計算并得出一個處理數據并視之為評分，評分越高則說明經過修復的圖像還原度就越高越合理，修復效果越好(傅晨皓,康若曦,2021)。主觀評價法：人們通過自己的直觀感受直接判斷圖像修復的是否合理[14]。僅憑人們的主觀判斷，不同的人對事物有不同的理解，故評價結果往往存在存在很高的不確定性其有違科學的嚴謹性。鑒于這種情況的存在當然主觀評價也有其突出優點，首先是可肉眼觀察圖像整體上是否符合人的視覺效果的(鐘翰林,苗心語,2019)；其次是細節觀察，人眼觀察修復完成圖中破損邊界的恢復情況、紋理走向等細節問題更能評價修復結果的好壞。客觀評價法：用修復后圖像與原圖像之間的相似程度來確定修復結果的好壞。客觀評價的方法有均方誤差評價法（MSE）、峰值信噪比評價法（PSNR）、信噪比評價法（SNR）這三種[15]。各評價法的數學表達式如下(姜柏成,盧可昕,2022)：按照這種局勢發展設圖像的大小尺寸為M*N，函數f0(x,y)代表修復前的圖像，f1(x,y)代表原圖經過修復的結果，其中(x,y)表示圖像中像素點坐標[16]。均方誤差評價法（MSE）數學表達式(呂致遠,鄧雅芝,2023)：MSE=1M?N信噪比評價法（SNR）數學表達式：SNR=10?lgx=1峰值信噪比評價法（PSNR）數學表達式：PSNR=10?lg255客觀評價法通過科學算法對修復完成的圖像進行評價，一方面可以從提供客觀的評價，在此情境的作用下另一方面可以大幅度降低人工評價工作量。對上面三種評價方法來說，均方誤差的值越低說明修復完成結果越好，而信噪比和PSNR值越大，恢復效果越好(崔錦程,譚小雅,2020)。基于紋理的圖像修復技術紋理修復的概念在計算機圖形學中，紋理不僅指的是我們所認為的東西表面的花紋，即物體表面呈現不均勻的溝槽，包含物體光滑表面上的顏色及顏色分布規律信息。而基于本體的復原方法就是基于紋理合成原理。按照這狀況來進行通過分析圖像中的紋理信息，用已知區域的紋理信息填充圖像中的破損區域紋理信息(唐君浩,彭楚嫣,2021)[17]。此結果與文獻中的先前結論相契合，為前期研究中的理論構思提供了有力的實證背書。這一發現不僅增強了本文對該領域知識體系的信心，還為跨學科合作提供了共識基礎。它鼓勵不同背景的學者從各自的專業視角出發，共同探索該領域的邊界，推動理論創新與實踐應用的融合。基于紋理的圖像修復及特點一般來說，圖像中往往包含著大量的紋理信息，對于紋理復雜的圖僅用基于結構的算法難以達到理想的效果。因此在理論上，把圖像的重要特征——紋理作為圖像修復的重點，優先考慮利用紋理信息來修復圖像可以取得較好的修復結果。并且在無數次的實驗中，我們驗證了針對于紋理特征明顯的圖像，利用其紋理信息進行修復可以增強圖像的整體視覺性，得到更符合人的視覺感官的理想修復結果(雷振邦,褚伊凡,2019)[18,19]。Criminisi算法是最為經典的紋理圖像修復算法。根據現有的結果分析可以得出如下結論其工作原理簡述為：找到破損邊緣，確定待修復塊優先級，從一個受損圖像未修復受損的圖像區域中,找到一個與正在待重新修復的圖像區域最大值相匹配的受損像素塊,將其受損信息直接填補到已經修復受損的圖像區域中，更新迭代，最終實現圖像修復(顧澤昊,董婉清,2022)[20-22]。通過這些細節可以看出其主要優點是適合破損區域較大圖像，且修復紋理清晰。基于深度學習的圖像處理相關概念深度學習的概念人為命令計算機進行執行某些任務并讓其自主在任務中學習，且利用層次化的概念讓計算機通過構建簡單的概念來學習復雜的概念。這種“自我學習”的學習模型被我們統統為深度學習(魏羽佳,江紫悅,2023)(deeplearning)[23,24]。簡單的說，神經網絡屬于深度學習的一個模塊，于這種情景里深度學習的涉及領域廣泛，研究層次深。研究人員的目標是讓機器能夠像人類識別文字、圖像、聲音等一樣進行分析和學習[25,26]。圖2.2人工智能不同學科間的關系卷積神經網絡傳統模仿生物結構的人工神經網絡并沒有在人工智能的潮流中成為主流的神經網絡，反而是其中一種比較特殊的深層前饋網絡在很多領域取得了成功，這種必將在未來得到長足發展的網絡就是卷積神經網絡（CNN）。與人工神經網絡相比，訓練中參數計算量過大，訓練麻煩等缺點，在這一局勢下卷積神經網絡的訓練已經得以規范流程化并且其訓練模式更加簡單。卷積式神經網絡現已成為當代應用較多的訓練網絡模型之一(陶文博,章雅楠,2020)。它已被廣泛地應用到了計算機和視覺技術領域的圖像劃分、物件檢測、人臉識別、圖像超分辨率、人體運動和圖像檢查等方面(陸承言,高詩雅,2021)。圖2.4卷積神經網絡示意圖VGG19卷積神經網絡特征提取的優勢最著名的一種深度卷積視覺神經網絡之一是也就是VGGnet,它于2014年由來自牛津大學的一個計算機科學視覺研究小組和來自谷歌大腦研究所的人員共同合作開發(嚴澤坤,方慧玲,2019)。我們也或許可以這么好地理解,按照這種局勢發展卷積法和神經網絡的技術深入應用程度是否會直接大大影響它們的工作性能,即網絡深度越深性能越差。VGGnet是目前能夠處理網絡深度與性能關系的最好的卷積神經網絡。以重復疊加3*3個小卷積核和2*2個最大池化層的方法，在此情境的作用下最終實現了16-19層的深度卷積神經網絡的構建(施銘揚,蘇雅雯,2022)[28,29]。在后續的研究中，本文將建立長期跟蹤機制，對研究對象進行持續的觀察和記錄，以捕捉其動態變化的過程和規律。同時，也會根據研究進展和實際情況，對研究方法和研究設計進行適時的調整和優化，以確保研究的科學性和有效性，會積極拓展國際視野，加強與國際同行的交流與合作。通過參與國際會議、發表國際論文等方式借鑒國際先進的研究方法和經驗，為提升我國在該領域的研究水平和國際影響力做出貢獻。與之前的網絡結構相比，不但正確率大幅度提升，并且VGG對新鮮數據的適應能力更好。故我們常常用VGG網絡來提取目標圖像的特征。圖2.5VGG19網絡模型結構不同的VGG模型并沒有本質上的區別，只是網絡深度不一樣[30]。在網絡結構改進優化策略中，為保證網絡深度且保證泛化能力，我們經常采用堆疊小卷積核的方法進行優化(夏子淳,馬欣妍,2023)。按照這狀況來進行這是因為堆疊起來的小卷積內核比大卷積內核更好。此策略所需參數更少但卻能顯著提升網絡的深度，并且小的卷積核有利于更好地保持圖像性質。根據現有的結果分析可以得出如下結論本文中所介紹使用的VGG19包含16個卷積數據層和3個完整的數據連接層，是目前VGG網絡模型中網絡深度最大的網絡(駱家輝,溫婉瑩,2020)。一般來說深度越來越大，準確度越高，所以我們可以說VGG19用來提取圖片特征是最佳選擇。表2.1不同網絡深度的網絡結構ConvNetConfigurationAA-LRNBCDE11weightlayers11weightlayers13weightlayers16weightlayers16weightlayers19weightlayersInput(224*224RGPimage)conv3-64conv3-64LRNconv3-64Conv3-64conv3-64conv3-64conv3-64conv3-64conv3-64conv3-64maxpoolconv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128conv3-128maxpoolconv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv1-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256conv3-256maxpoolconv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv1-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512maxpoolconv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv1-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512conv3-512maxpoolFC-4096FC-4096FC-1000soft-max本章小結本章節主要介紹了圖像修復的相關概念，簡述深度學習在圖像修復領域的相關現狀。開始為圖像修復的數學描述和圖像修復中的評價指標。然后介紹了深度學習的概念。總結卷積神經網絡圖片特征提取優勢的原因。基于Criminisi圖像修復算法的改進研究Criminisi算法概述Criminisi算法原理Criminisi算法的基本原理和定義如下,Ω表示一個圖像要被修復的區域，I是待修復圖像，?Ω被修復和未受損兩個區域的目標邊界，點p為目標像素點，Φ表示樣本區域[31]，?I_p等照度線的切線方向，n_p是受損邊界切線的法向量，φ_p是以p中心的目標塊(龔啟元,柳舒暢,2021)。算法核心原理分四步走：1.待修復塊的優先權計算。2.尋找最佳匹配塊。3.填充破損區域。4.置信項更新。圖3.1Criminisi原理圖Criminisi算法流程（1）待修復塊的優先權計算。在此類條件下不難推斷出設p是待修復區與為破損區的邊界?Ω上的某一個點，其優先權P(p)的計算公式如下:P(p)=C(p)·D(p)（3-1）其中:C(p)為置信項;D(p)為數據項，計算公式分別如下(管世杰,鄒雅琪,2019):Cp=q?ΨpΦCDp=|?Ι1（2）尋找一個最優的匹配塊。優先級計算結果后,確定所有需要修復的模塊,此后便需以SSD作為匹配準則在完好區域進行搜索尋找合適的匹配塊。SSD匹配準則定義如下(孟子凡,唐韻竹,2022)：SSD(p,q)=argmindΨp,式中dΨdΨp,式中R、G、B代表著p、q兩個像素點顏色的分量值。 填充破損區域。通過這點可以看出用最佳匹配的信息填充要修復的區域，完成對像素點p所處待修復塊的修復。并對破損邊界?Ω進行更新(費明達,辛子凡,2023)。 置信項的更新。搜索到最佳匹配塊后，隨著圖像的修復，目標塊已被修復，所以需要更新置信項，其更新公式如下所示[32]:Cp'=Cp?如此循環以上四個步驟，會使得邊緣范圍的縮小，如此迭代直至修復邊緣上的像素點全部被修復，則表明修復完成，然后輸出修復完成的圖片。Criminisi算法流程圖如下圖3.2中所示(榮澤凱,沈雅菲,2020)：圖3.2Criminisi算法流程圖改進Criminisi算法的內容研究VGG19卷積神經網絡提取圖片特征及特征可視化特征提取的概念是計算機視覺和圖像處理中提取圖像的數字信息，并判斷和歸類圖像中的每一個點(姚瀚墨,郝欣怡,2021)。在深度學習研究中我們可以通過VGG網絡模型提取到圖片的特征并通過可視化特征圖的方法，通過這些細節可以看出以圖片的形式將網絡結構中某一層特征圖顯示出來，直觀的展現的我們面前。在此狀態下我們可用MATLAB平臺中的activations函數來提取特征。從上可以可以看出該方案相比于其他方案具有更好的性價比，同時在靈活性和可擴展性方面也表現出色。這意味著它可以輕松適應不斷變化的市場需求和技術進步，為企業提供持續的競爭優勢。A為輸出輸出，net為調用網絡，IM為輸入圖像，Layer則為要提取特征的網絡層。然后通過矩陣變化即可實現特征的可視化(譚景堯,趙雅琪,2019)。函數：activations。功能：提取圖片特征。用法：A=activations(net,IM,'Layer')。其中A為輸出輸出，net為調用網絡，IM為輸入圖像，Layer則為要提取特征的網絡層。然后通過矩陣變化即可實現特征的可視化(薛志勇,宋子璇,2022)。圖3.3VGG19實驗中可視化的特征圖待匹配塊的大小調節為什么VGG網絡要指定輸入圖片大小?因為權重文件的參數數量是提前預設好了的,改變輸入尺寸會使得后面結果發生變化從而改變結果。在這一局勢下而在本次實驗中依照傳統Criminisi算法實現的目標塊與待匹配快尺寸均不符合VGG網絡輸入要求尺寸(白書豪,范伊人,2023)。為使得能夠調用VGG提取特征，我們需修改尺寸且尺寸修改方法需要合理有效而不是簡單的放大或縮小。函數：Padarray。功能：填充圖像或填充數組。用法：B=padarray(A,padsize,padval,direction)。其中A為輸入圖像，B為填充后的圖像(金宇航,苗雅琴,2020)。圖3.4匹配塊大小調節示意圖卷積層與池化層概念在卷積過程中，使用了卷積核(Filter)，根據步長大小連續掃描每一層的像素矩陣(石澤愷,龔詩雅,2021)。掃描值乘以卷積核中對應位置的個數，然后相加求和生成新的矩陣。卷積核相當于卷積操作中的一個過濾器，鑒于這種情況的存在用于提取我們圖像的特征。卷積核里每個值就是我們需要訓練模型過程中的神經元參數（權重）(溫子淳,麻雅琪,2019)。權重為卷積神經網絡（CNN）中獨特的網絡結構，按照這種局勢發展作用是以卷積核的局部感知機制來進行圖像特征的提取，權值共享卷積核深度與輸入特征矩陣深度保持一致，輸出的特征矩陣channel（深度）與卷積核個數相同在卷積操作過程中，矩陣經過卷積操作后的尺寸計算方法如下：N=（W?F+2P）/S+1（3.6）其中輸入圖片大小為WW；卷積核（filter）大小為F*F，步長（Stride）為S，padding的像素數為P。圖3.5卷積過程示意圖池化的降維操作即為卷積降維運算,因為卷積進行運算之后我們在其中直接提取出來得到的信息是一些特征運算信息,在其之間相鄰的每個區域我們都會發現存有相似的一些特征運算信息,在此情境的作用下并且它們之間信息是完全一樣可以用卷積運算信息相互進行替換的,若全部都需要保留那些具有特征值的信息將來就會導致存在較大的特征信息冗余,按照這狀況來進行增加了降維計算的復雜難度(霍明軒,樓婉婷,2022)。當我們通過數據池化層次的時候數據會不斷地增大減小每當數據的池化空間值和尺寸及其大小時,參數的空間計算和變量和我們測試到的數據就可能會不斷發生交互相應的空間減少和效率下降,在一定的很大程度上直接控制了整個過程模擬的耦合(浦景天,龔雅萱,2023)。經過深入研究現狀，并結合現有資源與技術，這一優化設計得以完成。相比舊有模式，此模式在幾個關鍵點上體現出巨大優勢。首要的是，借助更新穎的設計概念，它不僅提升了工作效率，而且減少了錯誤發生，極大地增強了項目實施的可能性。其次，考慮到成本效果，新的規劃削減了執行與維護開支，防止了資源的浪費，促進了經濟效益的增長。與此同時，這種改進也強化了系統的整合力和擴展潛力，便于應對未來的變革與發展需求。主要池化類型分別有:maxpooling(最大最小池化)和:maveragepooling(平均最小池化)。maxpooling:從窗口中抉擇選取最大的,我們已經重新定義了一個最大的修正空間鄰域(就是例如,2*2的窗口),根據現有的結果分析可以得出如下結論并且從窗口內的兩個修正元素特征圖中選擇一個得到最大的空間元素,最大的元素池化被普遍認為修正效果較佳。averagepooling:平均的,我們已經精確定義了一個二維空間的鄰域(就是例如,2*2的窗口),并且從窗口內的另一個鄰域修正后的特征圖中可以計算出所得到的鄰域平均值(秦淳,陶婉瑩,2020)[33,34]。特征差的計算與SSD算法結合我們提取到目標塊與待匹配塊的特征數據時，需要進行特征差計算。但我們提取到的數據為多維數組，目前還沒有特定計算多維數組相似性的函數。為此我們在MATLAB中調用reshape函數來將指定的矩陣變換成特定維數矩陣，在此類條件下不難推斷出該函數可以把高維矩陣轉化為低緯矩陣且矩陣中元素個數不變(袁澤昊,蔣雅琪,2021)。函數：reshape功能：矩陣維度轉換用法：B=reshape(A,size)其中，返回與元素A相同的n維數組，但重建數組的大小由向量的大小決定。當我們有了維度合適大小的特征矩陣數據時，我們便可以使用corr2函數返回兩個數組之間的二維相關系數R，從而計算出特征差。使用以下公式計算相關系數。corr2使用一下公式計算相關系數：r=mnA其中A=mean2(A)，且`B=mean2(B)計算出特征差后我們還可以與傳統算法中的SSD算法相結合，采用不同的權值會產生不同的修復效果，需要不斷嘗試研究實驗以求達到理想的修復效果。本章小結本章中主要將本文所研究的內容進行詳細的敘述。對傳統Criminisi算法的原理、流程進行了詳細的介紹，之后對于改進算法相關的關于深度學習特征提取、特征差計算等的重點理論知識及實驗原理進行了詳細分析研究。改進的Criminisi算法修復實驗結論實驗仿真本論文實驗平臺的配置如表4.1：計算機操作系統：MicrosoftWindows10教育版(64位)硬件配置：RAM12GB,(英特爾)Intel(R)Core(TM)i5-6300HQCPU@2.30GHz(2301MHz)，NVIDIAGeForceGTX960M實驗軟件平臺：MATLAB2018b（裝有DeepNetworkDesigner工具箱）MATLAB在深度學習方面是具有其獨特優勢的。其支持的卷積神經網絡模型非常多，包括GoogLeNet、VGG-16、VGG-19、AlexNet等模型。通過這點可以看出針對深度學習龐大數據集，其支持NVIDIA?GPU加速并且其早有完備的算法，無需開發者自行編程，直接調用即可(趙宇昊,李佳琳,2021)。本設計在優化時特別注重了財務可行性和方案的可擴展性，從而相較于最初的構思，在幾個關鍵點上做出了調整。首要的是，通過削減不必要的操作環節、采用性價比更高的選項，有效地控制了總成本，讓方案變得更加經濟。另外，為了加強其廣泛應用的可能性，在設計中充分考慮了跨地區的適應性，保證此方案能夠在不同條件下順利執行，易于其他組織或個人采納。而MATLAB在應用深度機器學習中最大的技術優勢就是充分利用了基于MATLAB的所有應用程序與所有可視化分析工具(黃煒杰,趙雪琪,2022)。，通過這些細節可以看出可視化工具極大方便了我們創建、修改、分析復雜網絡架構。還有一點就MATLAB的聯通性，我們可以在平臺上使用Caffe和TensorFlow-Keras的結構模型[35]。圖4.1MATLAB與其他框架連接示意圖實驗結果分析為保證實驗結果數據多樣性并驗證改進算法在紋理修復的方面的改進性，我們選取三組紋理特點不同的圖片為實驗對象。其修復圖像結果分別如下所示：(b)(c)(d)(e)(f)圖4.2如圖4.2所示，該實驗對象為破損區域紋理特征復雜的圖像。其中(a)為采集到的原圖，（b）有手動注釋的圖像(魏睿琪,劉曉宇,2023)，(c)為改進算法的修復中圖像，(d)傳統Criminisi修復圖像，(e)為改進算法中VGG19卷積神經網絡中卷積層結合傳統算法的修復效果圖，(f)為改進算法中VGG19卷積神經網絡中池化層結合傳統算法的修復效果圖。在此狀態下由實驗結果我們可以看到待修復區域中的車身和陰影是被修復的。傳統算法存在修復不好，有匹配信息不準確等問題，而改進的算法修復結果更好，能直觀的感受到改進算法所帶來的修復效果的提升(韓磊陽,王悅晨,2021)。(a)(b)(c)(d)(f)(e)圖4.3如圖4.3所示，該實驗對象為破損區域紋理特征一般的圖像。其中(a)為采集到的原圖，（b）有手動注釋的圖像，(c)為改進算法的修復中圖像，(d)傳統Criminisi修復圖像，(e)為改進算法中VGG19卷積神經網絡中卷積層結合傳統算法的修復效果圖，(f)為改進算法中VGG19卷積神經網絡中池化層結合傳統算法的修復效果圖(李文博,張欣悅,2021)。文中引用了一些現有的理論基礎來構造計算模式，并做出相應調整以增加其實用性和易用性。經過對現有計劃的全面審查和分析，清除了其中過于復雜且非必要的步驟，改進了流程結構，產生了一個更加簡明有效的計算模型。這不僅節省了資源使用，也減少了處理時間，使得該方案既保持了原有的效率，又方便實施和傳播，設立了多種驗證和品質監控手段。根據實驗圖，在這一局勢下我們直觀看到傳統算法在修復邊緣時，過于單調，以至于修復完成圖邊緣缺乏紋理，圖像修復邊緣過于平滑缺乏真實性。但改進的算法也存在修復局部模糊等問題，按照這種局勢發展最終通過客觀評價法的Psnr數據可以對修復效果評價(王浩然,劉雅婷,2020)。(b)(c)(d)(f)(e)圖4.4如圖4.4所示，該實驗對象為破損區域紋理特征難以辨別的圖像。其中(a)為采集到的原圖，（b）有手動注釋的圖像，(c)為改進算法的修復中圖像，(d)傳統Criminisi修復圖像，(e)為改進算法中VGG19卷積神經網絡中卷積層結合傳統算法的修復效果圖，(f)為改進算法中VGG19卷積神經網絡中池化層結合傳統算法的修復效果圖(陳俊熙,李芝和,2019)。表4.2各修復算法PSNR數據實驗對象傳統Criminisi修復結果conv_1結合Criminisi修復結果Pool4結合Criminisi算法修復結果紋理復雜的汽車35.933743.337543.3375紋理一般的紅葉30.665631.109831.1098紋理簡單的綠葉37.701338.233738.2337結合以上三個部分實驗結果圖和PSNR圖可以發現：（1）改進的Criminisi算法相較于傳統算法，按照這狀況來進行在視覺效果和客觀評價數據都體現了圖像修復性能的提升。（2）針對于傳統Criminisi算法來說，如果待修復區域以顏色特征為主特征的話即待修復區域顏色紋理特征明顯更突出其性能。而改進的算法除了顏色還有其他諸多的紋理特征是可以用來進行數據對比，以達到合理修復特征的。（3）根據PSNR圖，基于VGG19卷積層結合傳統算法的改進算法在一定程度上優于基于VGG19池化層結合傳統算法的算法。根據現有的結果分析可以得出如下結論其原因在于底層的卷積層能提供更多的圖片特征。但高層的池化層能夠減少一定的計算量，且對于某些特有特征能有更高的選取正確率。總結與展望工作總結數字圖像復原的概念提出至今已近20年，研究者們不斷引入各種數學修復模型并總是超前的提出各種理論，極大的推動了圖像恢復技術的不斷發展。在深度學習領域，基于深度學習的圖像復原方法研究備受追捧。但不論是傳統數字圖像修復還是深度學習在圖像修復領域的應用，始終各有優缺。本文針對于傳統數字圖像修復算法任務中，修復后區域模糊混亂、修復區域邊緣結構不合理等問題，研究基于深度提取圖像特征結合傳統算法的改進型圖像修復方法，主要研究內容包括以下三個方面：1.概述圖像修復中的紋理修復概念及經典算法修復原理。梳理圖像修復發展史，在辯證思維下思考了圖像修復存在的意義及亟待解決的問題。對經典紋理修復算法中的Criminisi算法的算法優缺點進行分析評價。從客觀立場上看待圖像修復技術發展趨勢并順應發展潮流在經典Criminisi算法分析中提出傳統算法與深度學習優缺互補理念。2.基于傳統Criminisi算法進行改進，對改進算法提供可行性理論支持。解析傳統Criminisi算法的流程，簡述深度學習的概念和相關算法原理。針對改進算法中的如輸入圖片尺寸調節、特征提取函數調用、特征可視化研究、匹配準則等問題逐一分析并提出解決方案。3.基于改進進行破損圖像修復實驗。搭建實驗環境，選取實驗平臺編寫實驗代碼并選取合適圖片組進行實驗驗證。分析對比實驗結果并根據實驗結果來不斷優化算法流程改進實驗代碼。以實際實驗結果來檢驗改進的Criminisi算法修復效果，實驗結果證明改進算法相較于傳統算法具有一定的改良性，傳統算法與深度學習優缺互補理念是可行的是具有意義的。未來展望雖然本文提出的改進算法在實驗中證實了修復效果的提升性，但該領域的改進算法研究還需要深入。并且由于個人能力、研究環境和實驗設備有限等，本文僅為初步探討研究，本文算法仍然存在一些值得改進和研究的地方，比如：（1）圖像修復算法中的程序編寫語言選取問題。本文基于傳統Criminisi算法進行改進采用MATLAB編程實現，但目前針對深度學習的研究學習大部分是選用Python語言。并且傳統圖像修復算法也大都選用C++，這就說明了圖像修復算法的編程語言是豐富但難以選取的。故我們需要平臺之間的互通構建，也需要編程語言能夠有互聯的接口，以程序調用方便來實現算法的更新與發展。（2）適合于圖像修復的卷積神經網絡模型的選取問題。深度學習快速發展，各種卷積神經網絡模型網絡深度或深或淺，針對應用領域進行了優化了調節。但對于圖像修復領域來說，目前比較著名的模型都存在一個問題，那就是網絡模型的網絡