人工智能應用基礎授課人：周老師

技術篇項目4?計算機視覺01項目描述05項目拓展02項目分析06項目小結03相關知識07項目練習04項目實施目錄項目描述01小明的手機相冊中不僅有許多小貓、小狗的照片，也有大量人物、汽車、飛機等照片，它們有些同時出現在一張照片里面。雖然小明已經知道，識別照片是什么類別屬于一個圖像分類任務，但是當照片里面有多個物體時，比如即有小貓又有小狗，那么神經網絡要怎么對這張照片進行分類呢？小明非常想了解這背后的技術。4.1項目描述02項目分析我們經常拍攝或者看到的圖像往往都是具有多個類別的物體，當一張圖像中包含多個類別的很多物體時問題就變得復雜了，小明的任務可以看作是目標檢測，找出圖像中不同物體的位置并判斷其類別。要掌握以上各種圖像識別的知識，需要學習以下內容：1.

卷積神經網絡2.

圖像分類3.目標檢測4.2項目分析03相關知識識別動物類別假設有一個做好標記的動物圖像數據集，目的是要訓練一個神經網絡來識別出不同動物的類別。經過前面的學習，我們可以設計一個深層神經網絡。數據集中圖片的像素是100×100，為了能輸入到神經網絡中，將圖片中的每列像素依次頭尾拼接成一個1×10000的一維數組，剛好對應輸入層的10000個神經元。4.3相關知識模式檢測對于這個模型中的神經元而言，它要做的就是檢測圖像里面有沒有出現一些特別重要的模式（特征），這些模式代表了某種動物的特征。4.3相關知識特征提取人類在判斷一個物體的時候，往往也是抓最重要的特征，看到這些特征以后，就會直覺地看到了某種物體。對于機器而言，這是一個有效的判斷圖像中物體的方法，這個過程就是前面章節所說的特征提取。4.3相關知識深層特征提取各個層檢測的特征并不是一次就能識別出鳥嘴這樣具有抽象意義的高級特征的，而是隨著網絡的深度逐漸從簡單的邊緣和顏色信息過渡到更復雜的形狀和物體特征。4.3相關知識人工神經網絡的缺陷在神經網絡中，我們用每一層的一個神經元來判斷某種特定模式是否出現，也許并不需要每個神經元都去看一張完整的圖像。4.3相關知識人工神經網絡的缺陷神經元接受的輸入是整個圖像，但它自己的感受范圍是有限的，只能檢測出一定區域的鳥嘴。因此，出現在不同區域的同一個模式，可能需要多個神經元。而且，圖像輸入到神經網絡中卻需要被拉成一條直線，這也破壞了圖像本身的平面結構，可能會造成信息損失。4.3相關知識卷積神經網絡一個新的神經網絡結構，叫做卷積神經網絡（ConvolutionalNeuralNetwork，CNN），是一種現在非常典型的網絡架構，常用于圖像識別任務中。4.3相關知識卷積神經網絡整個網絡分為兩部分，前面由多個卷積層組成，用于接收輸入的圖像，并對圖像中的特征進行提取與轉換，后面一部分是由全連接層組成，跟我們前文介紹的神經網絡結構相同，用于接收卷積層提取的特征，并輸出分類的結果4.3相關知識卷積神經網絡內部組成在輸入層，神經元組成的平面必須與輸入的圖像大小保持一致才能完整的接收圖像的每個像素。在層與層的連接部分，神經元沒有與上一層的所有神經元保持連接，而是采用了部分連接，這就是我們分析的，圖像中并不是所有區域都存在我們要提取的特征，不需要將所有神經元都進行連接，這樣可以減少模型的參數。4.3相關知識卷積操作輸入一張彩色圖片，在卷積層，由于只有部分連接，因此該層上的一個神經元只能檢測到輸入圖片的一個有限區域，并通過一個叫做卷積的操作來計算這個區域有沒有相關的特征，如果有的話這個神經元就會被激活，并傳遞到下一層的神經元繼續檢測4.3相關知識滑動掃描神經元會按從左到右、從上到下的順序依次檢測對應的區域，直到圖片中所有區域都檢測完畢，這種檢測的方式叫做滑動掃描。掃描過程中，如果某個神經元的掃描區域內存在待檢測的特征，該神經元就會被激活。4.3相關知識垃圾分類我們的生活垃圾種類繁多，自己在分類時經常遇到不易分類的垃圾，很多人會產生選擇困難，于是可以讓卷積神經網絡來對垃圾圖片自動分類。數據集總共5萬張圖片的垃圾分類數據集，給這些圖片標記出5個類別，分別是硬紙、玻璃、金屬、報紙和塑料，每個類別有1萬張圖片。4.3相關知識垃圾分類模型首先用訓練集進行訓練，訓練完成后利用測試集評價模型效果。整體結構依然是先用卷積層提取特征，然后將提取的特征輸入到全連接神經網絡進行分類，最后的輸出層有5個神經元，分別對應垃圾的5個類別。4.3相關知識螺母對比除了對單張圖片分類，我們還可以使用孿生網絡，同時對兩張圖片進行對比。孿生網絡包含了兩個在結構上一模一樣的卷積模塊，它們是卷積神經網絡去掉最后的全連接層后留下的卷積層4.3相關知識目標檢測利用卷積神經網絡的分類能力，將輸入的圖像劃分出多個窗口，針對每個窗口進行特征提取，識別出窗口中內容的類別。在輸出端增加一個全連接層分類器，用于輸出目標的位置信息，位置可以表示為框住物體的矩形窗口的坐標，這樣我們的模型就能同時找出圖像中某一區域物體的類別和位置了。4.3相關知識目標檢測我們不知道圖像中哪些位置會有物體，也不知道物體的大小，所以必須在圖像中用不同大小、不同長寬比的候選框在整幅圖像上進行窮盡式的掃描，有時候多個窗口會重疊找出同一個物體，每個窗口都會被卷積神經網絡進行分類并輸出坐標，這種情況需要將輸出的多個窗口根據坐標合并成一個窗口。4.3相關知識缺陷檢測在工業自動化和質量控制領域，物體表面缺陷檢測技術扮演著至關重要的角色。我們可以利用卷積神經網絡分類和定位各種器件的表面缺陷，如劃痕、凹陷、裂紋等。4.3相關知識缺陷檢測先是收集數據并做標記，目標檢測的數據需要做兩個標記，一個是將圖像中待檢測的物體用矩形窗口框出來，并記錄坐標值。另一個是要標記該窗口內的物體類別，圖中共標記了缺色、凹陷、污漬、劃痕、裂紋5個類別。4.3相關知識缺陷檢測訓練模型時，輸入層接收標記好的表面缺陷數據，卷積層通過滑動窗口在數上掃描各種大小長寬不同的區域，對其進行特征提取，然后在全連接層預測類別與位置坐標，并與標記值進行比較，根據誤差修正模型參數，直到訓練完成。4.3相關知識車牌識別用神經網絡來進行車牌識別，需要將這個任務看作兩個階段的目標檢測，第一個階段檢測出車牌，第二階段在已檢測出的車牌上，再次檢測出車牌號。4.3相關知識具體有以下幾個步驟：1）收集車輛照片并標記出其中的車牌和車牌號信息；2）利用標記的數據訓練兩個神經網絡，分別用來檢測車牌與車牌上的號碼；3）將訓練好的模型進行車牌識別任務。車牌識別因為有兩個目標檢測任務，所以數據的標記也有兩類，首先要在汽車圖片中標記出車牌，包括類別和定位信息，這類數據只針對整個車牌，不包括車牌上的字符。然后對車牌圖片中的字符進行標記，同樣包括字符的類別和定位信息。4.3相關知識車牌識別得到標記數據后，先用車牌數據訓練第一個模型A，使其學會從汽車圖像中檢測出車牌，然后用車牌號數據訓練第二個模型B，使其學會從車牌圖像中檢測出車牌號碼。4.3相關知識車牌識別訓練完成后即可用測試樣本對其進行測試，將汽車圖片輸入第一個模型檢測出車牌，根據預測車牌位置坐標從原始輸入圖片中截取出車牌部分，輸入到第二個模型進行車牌號的檢測。4.3相關知識04項目實施打開EasyDL平臺進入百度智能云平臺的動物識別頁面：/product/imagerecognition/animal，里面有一個動物識別的體驗功能。——“動物識別”4.4項目實施上傳圖片數據準備一些動物圖片進行識別，測試一下能不能正確識別。——“動物識別”4.4項目實施查看結果可以看到各個圖片的識別效果，無論是一張圖里有多個動物還是有人類，模型都能準備的預測出正確的類別，但對于卡通類型的動物圖片卻不能很好的識別，大家想一想這是為什么呢？——“動物識別”4.4項目實施進入百度智能云平臺進入百度智能云平臺的人體關鍵點檢測頁面：/product/body/pose，里面同樣有一個人體關鍵點檢測的體驗功能。不僅能檢測出圖像中的所有人體，還能精準定位人體的21個主要關鍵點，包含頭頂、五官、頸部、四肢主要關節部位等?？梢赃M入這個頁面，點擊本地上傳按鈕，試著上傳一張自己和朋友的照片，查看一下能否檢測出人體的各個關鍵部位?！叭四橁P鍵點檢測”4.4項目實施05項目拓展目標檢測任務中，在尋找圖像中的目標是，采用的是滑動窗口的方法，滑動窗口是一個個大小不一的矩形框，用這個框去遍歷所有的位置以及所有可能的大小。遍歷得越精確，檢測器的精度就越高。但這也就帶來一個問題就是：檢測的耗時非常大。比如輸入圖片大小是800×1000，也就意味著有800000個位置。窗口大小最小是1×1,最大800×1000，所以這個遍歷的次數幾乎是無限次的。我們還有一種方法就是，將輸入圖像分為S×S個網格，每個網格檢測自己范圍內的一個物體和他們的邊界框，這樣可以節省很掃描時間。你還能想出其它檢測掃描時間的方法嗎？4.5項目拓展06項目小結在卷積神經網絡中，卷積操作是指將一個可移動的小窗口在圖像上進行滑動尋找特征，然后一層層傳遞下去，直到全連接層進行分類。利用卷積神經網絡，我們最終完成了目標檢測任務，可以在一張圖像中找出多個物體并預測該物體的坐標。在進行目標檢測任務之前，我們首先得學會圖像分類任務，這個任務的特點是輸入一張圖片，輸出是它的類別。因為目標檢測本質上就是對多個物體的分類，另外多了一個預測邊界框的任務。最后我們了解了利用卷積神經網絡進行車牌識別的案例。4.6項目小結07項目練習一、選擇題

1.?在圖像識別任務中，卷積神經網絡的哪一層主要負責特征提取？（

）

A.?輸入層B.?卷積層C.?輸出層D.?全連接層

2.?圖像識別任務中，哪個步驟通常涉及將圖像調整為固定大??？（

）A.?數據預處理B.?特征提取C.?分類D.?測試3.?哪種神經網絡結構特別適用于處理具有矩形結構的圖像數據？（

）A.?感知機B.?全連接神經網絡C.?卷積神經網絡D.?神經元4.7項目練習一、選擇題

4.?識別一張圖像中有多少個物體及其所處位置，稱為什么任務？（

）

A.?圖像識別B.?圖像分類

C.?目標定位D.?目標檢測

5.?在用CNN進行圖像分類時，全連接層的主要作用是什么？（

）A.?特征提取