高職高專人工智能通識課規劃教材人工智能概論本章學習目標第6章計算機視覺【素養目標】通過計算機視覺相關知識的學習，培養學生科學精神，激發學生科技報國情懷；通過學習人工智能領域科技成果案例，加強愛國主義教育，增強民族自信心、自豪感；通過學習計算機視覺應用，培養學生追求真理，勇攀科學高峰的責任感和使命感。本章學習目標第6章計算機視覺【知識目標】掌握計算機視覺、圖像處理、人臉識別的概念；理解圖像的基本原理、人臉識別應用的技術原理；了解計算機視覺系統、人臉識別的一般步驟；掌握人臉檢測、人臉配準、人臉屬性識別、人臉特征提取、人臉比對、人臉驗證、人臉識別、人臉檢索、人臉聚類、人臉活體檢測等人臉識別基本技術；了解人臉識別的應用。本章學習目標第6章計算機視覺【能力目標】能夠針對計算機視覺具體應用功能，闡述其實現原理；能夠針對工作生活場景中的具體需求，提出計算機視覺技術解決思路；會使用圖像處理技術、人臉識別技術。本章學習目標第6章計算機視覺【思維導圖】第六章計算機視覺6.1計算機視覺概述6.2圖像處理與視覺系統6.3人臉識別高職高專人工智能通識課規劃教材6.4本章實訓6.5拓展知識6.1

計算機視覺概述第6章計算機視覺計算機視覺是研究如何讓機器“看”的科學，是人工智能的主要應用領域之一。人們或許沒有意識到自己的視覺系統是如此的強大。嬰兒在出生幾個小時后就能識別出母親的容貌；在大霧的天氣，學生看見來人朦朧的身體形態，就能辨別出來人是否為自己的班主任；游客可以根據網上攻略的圖片，就可以找到旅游目的地；乒乓球運動員根據對手細微的動作，就可以判別對手發球的方向。有實驗證實，人們接受的信息80％以上來自于視覺。倘若要讓機器像人一樣有視覺系統，就首先需要機器“看懂”圖像。6.1

計算機視覺概述第6章計算機視覺6.1.1什么是計算機視覺為了讓機器像人一樣“看懂”圖像，首先需要研究人類視覺系統。人類視覺系統包含眼球（接收光信號）、視網膜（光信號轉換為電信號，并傳輸到大腦）、大腦皮層（提取電信號中的有效特征，并引導人做出反應）。為了讓機器模擬人類視覺系統，研究者用攝像頭模擬眼球以獲得圖像信息；用數字圖像處理模擬視網膜，并將模擬圖像變成數字圖像，以便讓計算機能識別；用計算機視覺模擬大腦皮層，并設計算法提取圖像特征，以進行識別檢測等任務。機器模擬人類視覺系統便是機器視覺，也稱計算機視覺（ComputerVision，CV），是在解決機器如何“看”的問題。6.1

計算機視覺概述第6章計算機視覺6.1.1什么是計算機視覺計算機視覺是一門研究如何使機器“看”的科學，更直觀地說，就是指用攝影機和計算機代替人眼，對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖形處理，再用計算機將其處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科，計算機視覺研究相關的理論和技術，試圖建立一個能夠從圖像或者多維數據中獲取“信息”的人工智能系統。計算機視覺是從圖像或視頻中提取出符號或數值信息，分析計算該信息以進行目標的識別、檢測和跟蹤等。更形象地說，計算機視覺就是讓計算機像人類一樣能看到并理解圖像。6.1

計算機視覺概述第6章計算機視覺6.1.1什么是計算機視覺計算機視覺是一個跨學科的領域，涉及的部分學科如圖所示。計算機視覺應用非常廣泛，有圖像分類、目標檢測、圖像分割、人臉檢測與識別、光學字符識別（OCR）等。6.1

計算機視覺概述第6章計算機視覺6.1.2計算機視覺的發展歷程1966年，人工智能學家馬文·明斯基（MarvinMinsky）在給學生布置的作業中，要求學生通過編寫一個程序，讓計算機告訴人們它通過攝像頭看到了什么，這也被認為是計算機視覺最早的任務描述。20世紀七八十年代，隨著現代電子計算機的發展，計算機視覺技術也開始逐步發展。人們開始嘗試讓計算機回答出它看到了什么事物，于是首先想到的是從人類看事物的方法中獲得借鑒。借鑒之一是當時人們普遍認為，人類能看到并理解事物，是因為人類通過兩只眼睛可以立體地觀察事物。因此要想讓計算機理解它所看到的圖像，就必須首先將事物從二維的圖像中恢復出三維模型，這就是所謂的“三維重構”的方法。借鑒之二是人們認為人之所以能識別出一個蘋果，是因為人們已經知道了蘋果的先驗知識，比如蘋果是紅色的、圓的、表面光滑的，如果給機器也建立一個這樣的知識庫，讓機器將看到的圖像與數據庫里的儲備知識進行匹配，就可以讓機器識別乃至理解它所看到的事物，這是所謂的“先驗知識庫”的方法。這一階段的應用主要是一些光學字符識別、工件識別、顯微/航空圖片的識別等。6.1

計算機視覺概述第6章計算機視覺6.1.2計算機視覺的發展歷程20世紀九十年代，計算機視覺技術取得了更大的發展，并開始廣泛應用于工業領域。一方面原因是CPU、DSP等圖像處理硬件技術有了飛速進步；另一方面是人們也開始嘗試不同的算法，包括統計方法和局部特征描述符的引入。進入21世紀，得益于互聯網興起和數碼相機出現帶來的海量數據，加之機器學習方法的廣泛應用，計算機視覺迅速發展。以往許多基于規則的處理方式，都被機器學習所替代，計算機能夠自動從海量數據中總結歸納物體的特征，然后進行識別和判斷。這一階段涌現出了非常多的應用，包括典型的相機人臉檢測、安防人臉識別、車牌識別等等。6.1

計算機視覺概述第6章計算機視覺6.1.2計算機視覺的發展歷程2010年以后，借助深度學習技術，計算機視覺技術得到了爆發式增長和深度的產業化。通過深度神經網絡，各類視覺相關任務的識別精度都得到了大幅提升。在全球權威的計算機視覺競賽ILSVR上，比賽冠軍的模型錯誤率在2010年和2011年分別為28.20％和25.80％，從2012年引入深度學習技術之后，后續6年分別為16.40％、11.70％、6.70％、3.57％、2.88％、2.25％，出現了顯著突破，識別錯誤率已經超過了人眼（5.10％）。6.1

計算機視覺概述第6章計算機視覺6.1.3計算機視覺的主要任務計算機視覺的主要任務有圖像分類、目標檢測、圖像分割、目標定位與跟蹤等。（1）圖像分類。將圖像劃分為不同的類別，如狗、貓、花等類別。這是計算機視覺最基本的任務。（2）目標檢測。在圖像中檢測不同的物體實例，并給出其邊界框（位置和大小）和類別標簽。這是計算機視覺領域最主要的研究方向之一。分類任務關心整體，給出的是整張圖片的內容描述，而檢測則關注特定的物體目標，要求同時獲得這一目標的類別信息和位置信息。（3）圖像分割。將圖像分割成不同的區域，并對每個像素賦予相應的類別標簽，實現像素級的分類。這也是計算機視覺領域的重要研究內容。（4）目標定位與跟蹤。在視頻序列中定位與追蹤特定目標的運動軌跡。這一任務需要綜合應用圖像分類、目標檢測和圖像分割等技術。6.1

計算機視覺概述第6章計算機視覺6.1.4計算機視覺的主要應用計算機視覺技術已經在許多領域得到廣泛應用，包括自動駕駛、醫學影像、安防監控、機器人視覺、無人機視覺等。（1）自動駕駛。將計算機視覺用于檢測車道線、交通信號、車輛和行人等方面，理解場景并做出響應，實現自動駕駛。該應用需要目標檢測、目標定位與跟蹤、圖像分類和圖像分割等技術，是計算機視覺應用的前沿與難點。（2）醫學影像。將計算機視覺技術應用于檢測和診斷疾病等方面，分析CT、MRI等醫學掃描圖像，實現計算機輔助診斷等工作。該應用需要識別人體解剖結構、器官和病灶，對醫療資源與治療方案的分配具有重要作用。（3）安防監控。將計算機視覺技術應用于檢測特定目標如人臉、車牌等方面，追蹤并分析可疑目標，實現視頻監控與警戒等工作。該應用需要在復雜場景下準確檢測各類目標，并理解其活動規律，是智能安防的關鍵技術。

6.1

計算機視覺概述第6章計算機視覺6.1.3計算機視覺的主要應用（4）機器人視覺。將計算機視覺技術應用于捕捉三維場景、建立環境地圖、檢測和識別各類對象，為機器人的自主導航與操作提供視覺信息。該應用需要從圖像序列中重建三維空間，在動態場景下定位自身與目標物體，是機器人技術的重要組成部分。（5）無人機視覺。將計算機視覺技術應用于探索環境、規劃航線、避障和目標跟蹤，實現無人機的自動駕駛與遙控。該應用需要分析空中圖像，快速判斷周圍障礙與航線，準確鎖定目標和計算自身的位置和姿態，對無人機操作具有關鍵作用。計算機視覺還應用于手寫體識別、產品質量檢測、農業監測、車牌識別等其他領域。它的應用十分廣泛，隨著技術的發展其應用范圍也在不斷擴展，計算機視覺已成為一種通用技能，對各行各業都具有重要影響。

第六章計算機視覺6.1計算機視覺概述6.2圖像處理與視覺系統6.3人臉識別高職高專人工智能通識課規劃教材6.4本章實訓6.5拓展知識6.2圖像處理與視覺系統第6章計算機視覺6.2.1圖像的基本原理如果將一幅圖像放大，就可以看到它是由一個個的小格子組成的（灰度圖），如下圖所示，每個小格子都是一個色塊，這些小格子被稱為像素。像素是組成圖像的基本單元，圖片是包含很多個像素的集合。像素是圖片中某個點的顏色，很多個像素點排列起來，就可以組成一個二維平面點陣，這就是圖像。比如計算機桌面背景的分辨率是1920×1080像素，那么就意味著像素點有1920列、1080行，共1920×1080（=2073600）個像素。色彩空間的表達通涉及RGB圖像、灰度等概念。

6.2圖像處理與視覺系統第6章計算機視覺6.2.1圖像的基本原理在計算機中，灰度圖中的像素通常用0～255之間的一個整數數字表示，0表示黑色，255表示白色，數字從0變到255表示顏色由黑變白的一個過程。顏色越黑則數字越接近0，顏色越白則數字越接近255，如下圖所示。可以對灰度值進行歸一化處理，將分布于[0,255]區間的原始像素值歸一化至[0,1]，也就是將0對應為0，將255對應為1，中間的數值按比例對應至0～1之間。輸入特征的標準化有利于提升分類算法的學習效率和性能。

6.2圖像處理與視覺系統第6章計算機視覺6.2.1圖像的基本原理在RGB彩色空間中，紅（Red）、綠（Green）、藍（Blue）為三原色，其他的顏色都可以由這三種顏色按照不同的比例混合后生成。同樣地，單色的可見光也可以被分解為這三種顏色的組合，這就是三原色原理，如圖所示。可以使用三個整數數字來代表RGB彩色空間中的一個像素，如(0,100,200)，分別代表紅色部分的顏色值為0，綠色部分為100，藍色部分為200。RGB分別代表英文單詞Red、Green和Blue，其對應的取值范圍都是0～255，數值越大表示顏色越純。所以，RGB像素不同的組合總數為：256×256×256=16777216種顏色，其中(0,0,0)表示黑色，(255,255,255)表示白色。

6.2圖像處理與視覺系統第6章計算機視覺6.2.1圖像的基本原理RGB圖像又稱為三通道彩色圖，分別對應紅色、綠色和藍色通道，每個通道像素點的數值為0～255，表示每一種顏色的強度，如圖所示。灰度圖也可以叫作單通道圖。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術計算機視覺的圖像處理技術主要有圖像分類、目標檢測、圖像分割、目標定位與目標跟蹤等。1.圖像分類圖像分類是計算機視覺領域的基礎任務，也是應用比較廣泛的任務。圖像分類用來解決“是什么”的問題，如針對給定的圖片，用標簽描述圖片的主要內容。圖像分類指的是根據各自在圖像信息中所反映的不同特征，把不同類別的目標區分開來的圖像處理方法。圖像分類是計算機視覺中的基礎任務，也是圖像檢測、語義分割、實例分割、圖像搜索等高級技術的基礎。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術圖像分類包含了通用圖像分類和細粒度圖像分類。通用圖像分類主要解決識別圖像上主體類別的問題，如識別圖像中是貓還是狗，如圖所示；細粒度圖像分類則解決如何將大類進行細分類的問題，如在狗這一類別下，識別其品種（如吉娃娃、泰迪、松獅、哈士奇等）。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術圖像分類的效果容易受視角、光照、背景、形變、部分遮擋等的影響，所以在現實工程中的實現難度仍然不小。深度學習在圖像分類中的應用以卷積神經網絡為代表，主要通過監督的方法讓計算機學習如何表達圖片的特征。目前，計算機視覺領域大多數優秀的深度學習算法都需要大量的訓練數據集，其中最為出名的便是ImageNet。但在實際工程中，通常只擁有少量的數據樣本。此時，如果從頭訓練（隨機初始化神經網絡參數），過擬合將是大概率事件。圖像分類在許多領域都有著廣泛的應用。例如，安防領域的人臉識別和智能視頻分析、交通領域的交通場景識別、互聯網領域的基于內容的圖像檢索和相冊自動歸類、醫學領域的醫學影像識別等。圖像分類問題面臨很多挑戰，如視點變化、尺寸變化、類內變化、圖像變形、圖像遮擋、照明條件和背景干擾等。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術2.目標檢測目標檢測是最常見的計算機視覺的圖像處理技術之一。目標檢測用來解決“在哪里”的問題，如輸入一張圖片，輸出待檢測目標的類別和所在位置的坐標（矩形框的坐標值表示）。目標檢測采用算法判斷圖片中是否包含特定目標，并且在圖片中標記該目標的位置，通常用邊框或紅色方框把目標圈起來。例如，查找圖片中是否有貓，如果找到了，就把它框起來，如圖所示。目標檢測和圖像分類的區別是，目標檢測側重于目標的搜索，而且檢測的目標必須要有固定的形狀和輪廓；圖像分類的目標可以是任意對象，既可能是物體，也可能是一些屬性或者場景。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術2.目標檢測計算機能夠“看到”的是圖像被編碼之后的數字矩陣，很難理解圖像或視頻中出現了人或物體這樣的高層語義的概念，也就更加難以定位目標出現在圖像中哪個區域了。與此同時，由于目標會出現在圖像或視頻中的任意位置，并且目標的形態千變萬化，且圖像或視頻的背景千差萬別，諸多因素都使得目標檢測對計算機來說是一個具有挑戰性的技術。目標檢測是一項十分重要的計算機視覺的圖像處理技術，很多應用，如目標定位與跟蹤、圖像分割等，都要基于目標檢測，找不到目標就談不上后續的處理。由此可見，目標檢測是大多數計算機視覺系統的關鍵組成部分。目標檢測是一個困難的技術，影響其檢測成功與否的因素太多，近二十年來，根據其發展歷程，目標檢測技術大致劃分為兩種技術，2014年之前的傳統目標檢測技術和2014年之后的基于深度學習的目標檢測技術。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術（1）傳統目標檢測技術不同于分類任務，目標檢測要用方框對識別的物體進行標記并判斷其類別，方框中的圖像要盡可能完整地包含待識別的物體。目標檢測在進行分類和定位時幾乎是同時完成的。傳統目標檢測技術是基于傳統圖像處理和機器學習算法的目標檢測技術，也稱為滑動窗口目標檢測技術，如圖所示，該技術分為3個步驟：①使用不同大小的滑動窗口框住待測圖像中的某一部分作為候選區域，完成定位；②提取該候選區域相關的視覺特征，如人臉檢測常用的HOG特征、Harr特征等；③使用訓練完成的分類器進行分類。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術（1）傳統目標檢測技術每次滑動窗口時，該技術會對當前窗口執行事先訓練好的分類算法，如果當前窗口得到較高的分類概率，則認為檢測到了物體。在對不同大小的方框都進行檢測后，會得到不同窗口檢測到的物體標記，檢測到物體的窗口被稱為候選框。由于這些窗口存在重復的部分，因此需要通過計算兩個窗口的交并比（IntersectionoverUnion，IoU），采用非極大值抑制的方法進行篩選，最終獲得檢測到的物體。交并比用來描述兩個方框的重合程度，交并比計算公式為：IoU＝(A∩B)/(A∪B)，即兩個候選框覆蓋區域的交集與并集的面積比。交并比越大，說明兩個候選框重合度越高。交并比可以用來評估檢測結果和真實結果的差距，也可以用來衡量兩個候選框之間的關系。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術（1）傳統目標檢測技術非極大值抑制就是根據分類算法對候選框中預測到對象的概率排序，首先用最大概率候選框與其他候選框計算交并比，丟棄低于閾值的候選框。然后從沒有被丟棄的候選框中再找出最大概率候選框。重復上述操作，直到找到所有被保留下來的候選框。在傳統目標檢測方法中，雖然許多學者提出了很多新的改進方法，但是傳統目標檢測技術始終有兩個重要的缺陷：①使用滑動窗口策略進行區域選擇時針對性不強，效率較低；②手動設計的特征對于目標的多樣性并沒有很好的健壯性。深度學習的崛起使目標檢測精度不斷提升，因此基于深度學習的目標檢測技術得到了廣大研究者的關注，成為機器學習領域的熱點之一。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術（2）基于深度學習的目標檢測技術基于深度學習的目標檢測技術可表述為圖像的特征提取與目標識別和定位，其用到的主要深度學習模型是卷積神經網絡。2012年，辛頓（Hinton）教授的團隊利用卷積神經網絡（CNN）設計了AlexNet，使之在ImageNet問題上打敗了所有傳統目標檢測技術的團隊，CNN因此成為計算機視覺領域最為重要的工具之一，并推動機器視覺研究進入了一個新的階段，隨后，基于CNN的目標檢測技術也逐漸取代了傳統目標檢測技術。目前，可以將現有的基于深度學習的目標檢測技術大致分為兩類：一類為基于候選區域的目標檢測技術，具有代表性的是R-CNN、SPP-NET、FastR-CNN、FasterR-CNN和MaskR-CNN等；另一類為基于回歸預測的目標檢測技術，具有代表性的是SSD、YOLO、YOLOv2、YOLOv3等。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術①R-CNN。R-CNN(Region-CNN，區域卷積神經網絡)，作為將深度學習引入目標檢測技術的開山之作，在目標檢測技術發展歷史上具有重大意義。R-CNN借鑒滑動窗口思想，采用對區域進行識別的方案。針對輸入的圖像，R-CNN借助圖像的邊緣、紋理、色彩、顏色變化等信息，采用選擇性搜索算法（SelectiveSearch），生成約2000個可能包含物體的候選區域。每個候選區域都被調整成固定大小，并被送入一個預先訓練過的CNN模型中，以用于提取特征（CNN模型中的參數會在訓練過程中進行微調）。將提取到的特征送入一個分類器中，預測候選區域中所含物體屬于每個類別的概率。得到所有分類成功的區域后，通過非極大值抑制輸出結果。由于候選區域對目標檢測技術的成敗起著關鍵作用，所以該技術就以Region首字母R加CNN進行命名。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術②YOLO。YOLO是YouOnlyLookOnce的縮寫，表示“你只看一次”，是指看一眼圖像就能知道有哪些對象及它們的位置。YOLO將生成候選區域和識別這兩個階段合二為一，訓練出一個看起來類似普通CNN的神經網絡，因此能夠直接得到包含邊界框（即物體所在位置的標記）和類別預測的輸出。YOLO也并沒有完全去掉候選區，而是將輸入圖像劃分為若干個網格，在每個網格中進行預測。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術將一幅圖像輸入到YOLO模型中，先將圖像分成7×7的網格，如圖所示，每一個網格預測出2個物體邊界框(x,y,w,h)以及對應于每一個邊界框的置信分數（概率），以用于表示網格包含物體(20個類別)的準確度和產生的邊界框精確的程度。最后的輸出是一個7×7×30張量。對于輸入圖像中的每個對象，先找到其中心點。比如，圖中的自行車，其中心點在黃色圓點位置，中心點落在黃色網格內，所以這個黃色網格對應的30維向量中，自行車的概率是1，其它對象的概率是0。所有其它48個網格的30維向量中，該自行車的概率都是0。這就是所謂的“中心點所在的網格對預測該對象負責”。圖中狗和汽車的分類概率也采用同樣的技術。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術3.圖像分割圖像分割是計算機視覺領域技術的重要研究方向之一，它根據圖片的灰度、顏色、結構和紋理等特征，將圖像分成若干具有相似性質的區域。與目標檢測技術相比較，圖像分割技術更適用于精細的圖像識別、更加精確的目標定位，以及圖像的語義理解。圖像分割是指將圖像細分為多個圖像子區域，使得圖像更加易于理解和分析。圖像分割主要用于定位物體的邊界，即將每個像素進行分類，使得同一物體具有共同的類別和屬性，即可展現出共同的視覺特性。對圖像進行分割時一般會使用某種屬性（灰度、彩色、空間紋理、幾何形狀等）的相似度量方法，使得同一個子區域中的像素在此技術的計算下都很相似，而不同區域中的像素則差異很大，即類內差異小，類間差異大。圖像分割的初級操作就是將圖像的前景和背景進行分割，前景一般包含大家關心的物體。例如，將包括人的區域與背景分割開。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術根據不同的分割粒度，圖像分割可以分為語義分割和實例分割。（1）語義分割。語義分割（SematicSegmentation）需要預測出圖像中的每一個像素點屬于哪一類的標簽，如像素是屬于人、羊、狗、車等。語義分割比目標檢測預測的邊框更加精細。可以簡單地將語義分割任務理解為：用一種顏色代表一個類別，用另一種顏色代表另外一個類別，將所有類別用不同顏色代表，然后對原始圖像對應大小的白紙上進行涂色操作（不能用白色代表類別），盡量讓涂色的結果與原始圖片表達的類別接近。（2）實例分割。語義分割可以將不同類別的物體區別開來，而實例分割則是在語義分割的基礎上，進一步區分出同一類中的不同個體。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術圖像分類、目標檢測、語義分割、實例分割的區別如下圖所示。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術常見的圖像分割技術有基于閾值的分割、基于邊緣的分割、基于區域的分割（區域生長、區域分裂合并）和基于深度學習的分割等技術。在深度學習中，圖像分割是一種端到端的像素級分類技術，就是給定一張圖片，對圖片上的每一個像素進行分類，圖像分割后的輸出是一張分割圖。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術4.目標定位與目標跟蹤圖像分類技術解決了“是什么”的問題，如果還想知道圖像中的目標具體在圖像的什么位置，就需要用到目標定位與目標跟蹤技術。目標定位與目標跟蹤的結果通常是以包圍盒的形式返回的。目標定位與目標跟蹤是指，在給定場景中跟蹤感興趣的具體一個對象或多個對象的過程。簡單地講，給出目標在跟蹤視頻第一幀中的初始狀態（如位置、尺寸），自動估計目標物體在后續幀中的狀態，如圖所示。6.2圖像處理與視覺系統第6章計算機視覺6.2.2圖像處理技術4.目標定位與目標跟蹤目標定位與目標跟蹤是利用圖像序列的上下文信息，對目標的外觀和運動信息進行建模，從而對目標的運動狀態進行預測并標定目標位置。目標定位與目標跟蹤是計算機視覺中的一個課題，具有重要的理論研究意義和應用價值，在智能視頻監控系統、智能人機交互、智能交通和視覺導航系統等領域被廣泛應用。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統計算機視覺系統是為完成視覺任務而構造的計算機系統，它由多個功能模塊按照一定的結構組成，各模塊之間要互相聯系以保證根據一定的流程實現系統功能。計算機視覺系統通常包含有圖像采集、圖像預處理、特征檢測、圖像分割、圖像的高級處理等功能模塊。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統1.圖像采集計算機視覺技術是以獲取客觀世界的圖像為基礎的。為了采集圖像，需要使用特定的采集裝置或設備，這里的裝置和設備可以是各種光敏攝像機、遙感設備、X射線斷層攝影儀、雷達、超聲波接收器等。基于不同的采集裝置和設備，產生的圖像可以是二維圖、三維圖或一個圖像序列。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統2.圖像預處理采集圖像后，為了更方便、更有效地獲取其中的信息，提高后續加工的效率，需要對圖像進行一定的預處理。一方面，圖像在采集中有可能發生幾何失真，因此為恢復場景和圖像的空間對應關系，需要進行坐標變換。另一方面，在對圖像進行處理前，對圖像的幅度也需要進行一定的調整，以改善圖像的視覺質量。另外，圖像在采集過程中會受到噪聲等干擾，因此需要消除這些干擾的影響。所以，圖像預處理在計算機視覺系統中是不可或缺的。對圖像進行預處理可采用多種方法。首先，可借助坐標變換對出現的幾何失真進行校正。其次，可直接利用調整圖像灰度值的映射來增強圖像。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統2.圖像預處理由于圖像的視覺效果和其直方圖（描述了圖像的統計特性）有對應關系，因此可借助對圖像直方圖的修正來改善視覺效果。最后，還可以考慮利用像素及其鄰域像素的性質對圖像進行加工，利用多個像素的綜合信息來獲得更好的處理效果。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統3.特征檢測特征檢測也稱基元檢測，是指檢測圖像中有顯著特點的基本單元。通常，基元主要有：邊緣、角點、直線段、圓、孔、橢圓及其他興趣點等（也包括它們的一些結合體），對這些基元的檢測是常見的工作。相對來說，邊緣是圖像中比較低層的基元，是組成許多其他基元的基礎。邊緣是像素灰度值發生加速變化而不連續的結果。邊緣檢測結果如下圖所示。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統3.特征檢測角點可被看作是由兩個邊緣以接近直角相接合而構成的基元。直線段可被看作是兩個鄰近又互相平行的邊緣相結合而構成的基元。圓是一種常見的幾何形狀，圓周可被看作是將直線段彎曲、頭尾相接而得到的。孔的形狀與圓相同，但孔一般表示比較小的圓。橢圓可被看作是圓的擴展，圓是橢圓的特例。由于基元密切相關，所以有許多比較典型的檢測技術會將它們結合考慮。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統4.圖像分割圖像分割指將感興趣的目標區域從圖像中分離并提取出來，也可看作是特征檢測的一種推廣。將目標從圖像中分割出來有兩種方法。一種方法基于目標輪廓，即考慮該目標與圖像其他部分的界限，如果能確定目標輪廓，就可將目標與圖像中的其他部分區分開。另一種方法是基于區域，即考慮所有屬于目標區域的像素（包括邊界和內容像素），如果能確定每個屬于目標的像素，就可獲得完整的目標。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統4.圖像分割在基于目標輪廓的方法中，利用邊緣檢測方法可以檢測出目標輪廓上的邊緣點，將這些點看作目標的邊界點，并在此基礎上將這些邊界點連接起來，就可獲得目標輪廓，從而將目標分割出來。基于目標輪廓搜索方法也可以將目標進行分割，首先在全圖中檢測局部邊緣點，然后再將邊界點連接起來構成目標邊界。輪廓搜索技術將檢測邊緣點和連接邊界點結合進行，邊檢測邊連接，最后獲得目標輪廓，這種方法考慮了圖像中邊界的全局信息，在圖像受噪聲影響較大時仍可取得較魯棒的分割結果。6.2圖像處理與視覺系統第6章計算機視覺6.2.3計算機視覺系統5.圖像的高級處理圖像的高級處理有理解圖像內容的含義，是計算機視覺中的高階處理，主要工作是在圖像分割的基礎上再對分割出的圖像塊進行理解。圖像的高級處理首先采用模式識別或機器學習方法，如利用卷積神經網絡等算法，訓練出合理的模型，然后再對目標進行識別、分類等操作。第六章計算機視覺6.1計算機視覺概述6.2圖像處理與視覺系統6.3人臉識別高職高專人工智能通識課規劃教材6.4本章實訓6.5拓展知識6.3人臉識別第6章計算機視覺6.3.1人臉識別概述人臉識別（FaceRecognition），是基于人的臉部特征信息進行身份識別的一種生物識別技術，簡單來說就是，通過人的面部照片實現身份認證的技術。照片既可以通過相機拍照獲得，也可以通過視頻截圖獲得；既可以是配合狀態下的正面照（如護照照片），也可以是非配合狀態下的側面照或遠景照（如監控錄像）。人臉識別可細分為兩種認證方式，一種認證方式是身份確認（Verification），另一種認證方式是身份辨認（Identification）。在身份確認中，計算機需要對兩張人臉照片進行對比，以判斷是否為同一個人。這一認證方式通常用于信息安全領域，如海關身份認證、ATM刷臉取款等。在身份辨認中，當給定一張目標人的面部照片時，人臉識別系統需要在一個龐大的照片數據庫中進行搜索，找到與給定照片最相近的照片，從而判斷出目標人的身份。這一認證方式一般應用于公共安全領域，如刑偵領域的嫌疑人排查。6.3人臉識別第6章計算機視覺6.3.1人臉識別概述在實際應用中，可能需要同時用到身份確認和身份辨認兩種認證方式。例如，在一個公司的門禁系統中，對一張待認證的人臉照片，首先需要搜索公司的所有員工的照片庫，以找到匹配度最高的照片作為身份確認的候選照片，之后還需要判斷這兩張照片的匹配度是否超過了預設的閾值，只有超過該閾值，門禁系統才能打開。因此，這一系統同時包含了身份確認和身份辨認兩種認證方式。6.3人臉識別第6章計算機視覺6.3.1人臉識別概述人臉識別系統的研究始于20世紀60年代。20世紀80年代后，人臉識別系統隨著計算機技術和光學成像技術的推廣而得到發展。而人臉識別系統真正進入初級的應用階段則在20世紀90年代后期，并且以美國、德國和日本的技術實現為主。人臉識別系統成功的關鍵在于是否擁有尖端的核心算法，并使識別結果具有實用化的識別率和識別速度。“人臉識別系統”集成了人工智能、機器識別、機器學習、模型理論、專家系統、視頻圖像處理等多種專業技術，同時需結合中間值處理的理論與實現，是生物特征識別的最新應用，其核心技術的實現展現了弱人工智能向強人工智能的轉化。6.3人臉識別第6章計算機視覺6.3.1人臉識別概述在人臉識別技術領域，值得一提的是我國科學家湯曉鷗。湯曉鷗（1968年1月—2023年12月），男，出生于遼寧省鞍山市，是我國人工智能領域的杰出代表，生前為香港中文大學信息工程學系教授，兼任中國科學院深圳先進技術研究院副院長、上海人工智能實驗室主任，IJCV（計算機視覺國際期刊）首位華人主編，全球人臉識別技術的“開拓者”和“探路者”，商湯科技創始人。早在1992年，在美國麻省理工學院攻讀博士學位的湯曉鷗就開始接觸人臉識別的算法。獲得博士學位后，他先后在香港中文大學和微軟亞洲研究院工作，繼續從事計算機視覺相關領域的研究工作。2001年，他創立了香港中文大學多媒體實驗室。2014年3月，湯曉鷗團隊發布研究成果——基于原創的人臉識別算法，其準確率達到98.52%，首次超越人眼識別能力（97.53%）。自2014年6月起，湯曉鷗實驗室發表的DeepID系列算法，逐步將人臉識別的準確率提升至99.55%，開啟了人臉識別行業技術落地的時代。2016年，湯曉鷗領軍的中國人工智能團隊，入選世界十大人工智能先鋒實驗室，成為亞洲地區唯一入選的實驗室。2020年，湯曉鷗入選“人工智能全球2000位最具影響力學者榜”。6.3人臉識別第6章計算機視覺6.3.1人臉識別概述1.人臉識別的優勢人臉識別的優勢在于其自然性和不被檢測個體察覺的特點。所謂自然性，是指該識別方式同人類（甚至其他生物）進行個體識別時所利用的生物特征相同。例如，人類也是通過觀察和比較人臉以對身份進行區分和確認的。其他具有自然性的識別還有語音識別、體形識別等。不被檢測個體察覺的特點對于人臉識別方法也很重要，這會使該識別方法不令人反感，并且因為不容易引起人的注意而不容易被欺騙。人臉識別系統利用可見光獲取人臉圖像信息，而不同于指紋識別或者虹膜識別，需要利用電子壓力傳感器采集指紋，或者利用紅外線采集虹膜圖像，這些特殊的采集方式很容易被檢測個體察覺，從而更有可能被偽裝所欺騙。6.3人臉識別第6章計算機視覺6.3.1人臉識別概述2.人臉識別的困難人臉識別的困難主要是由人臉作為生物特征的特點所造成的。在視覺特點上，首先，不同個體之間的區別不大，所有的人臉的結構都相似，甚至人臉器官的結構外形都很相似。這樣的特點對于利用人臉進行定位是有利的，但是對于利用人臉區分人類個體是不利的。其次，人臉的外形很不穩定，人可以通過臉部的變化產生很多表情，而在不同觀察角度，人臉的視覺圖像也相差很大；另外，人臉識別還受光照條件（例如白天和夜晚，室內和室外等）、人臉的遮蓋物（例如口罩、墨鏡、頭發、胡須等）、年齡等多方面因素的影響。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟讓我們首先來回憶一下，人在識別一個訪客身份時采取的基本步驟。首先，通過眼睛把該訪客的整體形象印入腦海（圖像采集）；再從這一整體形象中找到人臉的位置（人臉定位）；如果位置不正，則會努力調整角度，直到看到正面清晰的人臉（正規化）；接下來，需定位這張臉上的主要特征，如整體輪廓、雙眼間距、鼻子形狀等（特征提取），如圖所示；最后，會依據這些特征，在腦海中進行對比和搜索，最終從記憶中找到一張匹配度最高的人臉，從而確定訪客的身份（模式匹配）。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟人臉識別一般可分為四個步驟：人臉圖像采集及檢測、人臉圖像預處理、人臉圖像特征提取以及人臉圖像匹配與識別，如圖所示。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟1.人臉圖像采集及檢測不同的人臉圖像都能通過攝像頭采集下來，比如靜態圖像、動態圖像、不同的位置、不同表情等都可以得到很好的采集。當用戶在采集設備的拍攝范圍內時，采集設備會自動搜索并拍攝用戶的人臉圖像。人臉檢測在實際中主要用于人臉識別的預處理，即在圖像中準確標定出人臉的位置和大小。人臉圖像中包含的模式特征十分豐富，如直方圖特征、顏色特征、模板特征、結構特征等。人臉檢測就是把這其中有用的信息挑出來，并利用這些特征實現人臉檢測。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟2.人臉圖像預處理對于人臉的圖像預處理是基于人臉檢測結果，對圖像進行處理并最終服務于特征提取的過程。系統獲取的原始圖像由于受到各種條件的限制和隨機干擾，往往不能直接使用，必須在圖像處理的早期階段對它進行灰度校正、噪聲過濾等圖像預處理。對于人臉圖像而言，其預處理過程主要包括人臉圖像的光線補償、灰度變換、直方圖均衡化、歸一化、幾何校正、濾波以及銳化等。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟3.人臉圖像特征提取人臉識別系統可使用的特征通常分為視覺特征、像素統計特征、人臉圖像變換系數特征、人臉圖像代數特征等。人臉圖像特征提取，也稱人臉表征，它是對人臉的某些特征進行建模的過程。人臉圖像特征提取的方法分為兩種：一種是基于知識的表征方法；另一種是基于代數特征或統計學習的表征方法。基于知識的表征方法主要是根據人臉器官的形狀描述以及它們之間的距離特性來獲得有助于人臉分類的特征數據，其特征分量通常包括特征點間的歐氏距離、曲率和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構成，對這些局部和它們之間結構關系的幾何描述，可作為識別人臉的重要特征，這些特征被稱為幾何特征。基于知識的表征方法主要包括基于幾何特征的方法和模板匹配法。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟3.人臉圖像特征提取基于代數特征或統計學習的表征方法的基本思想是，將人臉在空域內的高維描述轉化為頻域或者其他空間內的低維描述。基于代數特征的表征方法分為線性投影表征方法和非線性投影表征方法。基于線性投影的方法主要有主成分分析法，或稱K-L變換、獨立成分分析法和Fisher線性判別分析法。非線性特征提取方法有兩個重要的分支：基于核的特征提取技術和以流形學習為主導的特征提取技術。6.3人臉識別第6章計算機視覺6.3.2人臉識別一般步驟4.人臉圖像匹配與識別提取的人臉圖像的特征數據與數據庫中存儲的特征模板進行搜索匹配時，首先設定一個閾值，當相似度超過這一閾值，則把匹配得到的結果輸出。人臉識別系統需要將待識別的人臉特征與已得到的人臉特征模板進行比較，然后根據相似程度對人臉的身份信息進行判斷。此外，人臉識別系統包含活體鑒別環節，即區別識別的特征信號是否來自于真正的生物體。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術人臉識別基本技術主要有人臉檢測、人臉配準、人臉屬性識別、人臉特征提取、人臉比對、人臉驗證、人臉識別、人臉檢索、人臉聚類、人臉活體檢測等。（1）人臉檢測。人臉檢測是檢測出圖像中人臉所在位置的一項技術，如圖所示。人臉檢測技術的輸入是一張圖片，輸出是人臉框坐標序列（0個人臉框、1個人臉框或多個人臉框）。一般情況下，輸出的人臉坐標框為一個正朝上的正方形，但也有一些人臉檢測技術輸出的是正朝上的矩形，或者帶旋轉方向的矩形。常見的人臉檢測技術基本上是一個“掃描”加“判斷”的過程，即在圖像范圍內掃描，再逐個判定候選區域是否是人臉。因此，人臉檢測技術的計算速度與圖像尺寸、圖像內容有關。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（2）人臉配準。人臉配準是定位出人臉上五官關鍵點坐標的一項技術，如圖所示。人臉配準技術的輸入是一張“人臉圖片”和“人臉坐標框”，輸出是五官關鍵點的坐標序列。五官關鍵點的數量是預先設定好的一個固定數值，可以根據不同的語義來定義（常見的有5個關鍵點、68個關鍵點、90個關鍵點等固定值）。當前效果較好的一些人臉配準技術基本上都是通過深度學習框架實現的，這些技術的特點是基于人臉檢測的坐標框，按某種事先設定規則將人臉區域摳取出來，縮放到固定尺寸，然后進行關鍵點位置的計算。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（3）人臉屬性識別。人臉屬性識別是識別出人臉的性別、年齡、姿態、表情等屬性值的一項技術，如圖所示。一般的人臉屬性識別技術的輸入是一張“人臉圖”和“人臉五官關鍵點坐標”，輸出是人臉相應的屬性值（如性別、年齡、表情等）。人臉屬性識別技術一般會根據人臉五官關鍵點坐標，將人臉對齊（經過旋轉、縮放、摳取等操作后，將人臉調整到預定的大小和形態），然后進行屬性分析。人臉屬性識別技術是對一類技術的統稱，包括性別識別、年齡估計、姿態估計、表情識別等。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（4）人臉特征提取。人臉特征提取是將一張人臉圖像轉化為一串固定長度的數值的過程，這個數值串被稱為人臉特征，能夠表征一個人的人臉特點，如圖所示。人臉特征提取技術的輸入是一張“人臉圖”和“人臉五官關鍵點坐標”，輸出是對應的一個數值串（特征）。人臉特征提取技術會根據人臉五官關鍵點坐標，將人臉對齊預定模式，然后計算特征。近年來，深度學習基本統治了人臉特征提取技術。早期的人臉特征提取模型都較大，速度較慢，且僅使用于后臺服務。但現在已經可以實現在基本保證效果的前提下，將模型大小和運算速度優化到移動端可用的狀態。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（5）人臉比對。人臉比對是衡量兩個人臉之間相似度的技術，如圖所示。該技術的輸入是兩個人臉特征（人臉特征由前面的人臉特征技術獲得），輸出是兩個特征之間的相似度。人臉驗證、人臉識別、人臉檢索都是在人臉比對的基礎上，增加一些算法策略來實現的。基于人臉比對，可衍生出人臉驗證、人臉識別、人臉檢索、人臉聚類等技術。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（6）人臉驗證。人臉驗證是判定兩張人臉圖是否為同一個人的技術。它的輸入是兩個人臉特征，通過人臉比對獲得兩個人臉特征的相似度，并與預設的閾值進行比較，相似度大于閾值，則為同一個人；相似度小于閾值，則為不同的人，如圖所示。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（7）人臉識別。人臉識別是通過識別輸入人臉圖以對應身份的技術。它的輸入是一個人臉特征，通過與注冊在庫中N個身份對應的特征進行逐個對比，查找出一個與輸入特征相似度最高的特征。將這個最高相似度值和預設的閾值進行比較，如果大于閾值，則返回該特征對應的身份；反之，則返回“不在庫中”，如圖所示。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（8）人臉檢索。人臉檢索是查找與輸入人臉圖相似的人臉序列的技術。人臉檢索是通過將輸入的人臉圖和一個集合中的所有人臉圖進行比對，根據比對后的相似度對集合中的人臉圖進行排序。根據相似度從高到低排序的人臉序列就是人臉檢索的結果，如圖所示。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（9）人臉聚類。人臉聚類是將一個集合內的人臉圖根據身份進行分組的技術。人臉聚類通過將集合內所有的人臉圖兩兩比對，再根據比對后的相似度進行分析，將屬于同一個身份的人臉圖劃分到同一個組里，如圖所示。在進行人工身份標注前，只知道劃分到同一個組的人臉是屬于同一個身份，但不知道確切身份。6.3人臉識別第6章計算機視覺6.3.3人臉識別基本技術（10）人臉活體檢測。人臉活體檢測是判斷人臉圖像是來自真人還是來自假體（照片、視頻等）的技術，如圖所示。考慮到如果入侵者利用虛假人臉圖對系統攻擊成功，則極有可能對系統中的用戶造成重大損失，因此需要開發可靠、高效的人臉活體檢測技術，來守護現有人臉識別系統的信息安全。通常，用戶在進行人臉活體檢測時，系統每次都會從動作集（包括張嘴、眨眼、揚眉、微笑、搖頭、點頭等）中選擇一種或若干種動作，隨機指定用戶完成動作的次數，并要求用戶在規定的時間內完成。6.3

人臉識別第6章計算機視覺1.人臉識別門禁人臉識別門禁通過人臉識別辨識試圖進入者的身份。結合人臉識別技術、成熟的ID卡技術和指紋識別技術的門禁產品，可實現人臉、指紋和ID卡信息的采集，以及生物信息識別及門禁控制內外分離等功能。人臉識別門禁實用性高、安全可靠，可廣泛應用于銀行、軍隊、公檢法、智能樓宇等重點區域的門禁安全控制，如圖所示。6.3.4人臉識別的應用6.3

人臉識別第6章計算機視覺2.身份辨識國際民航組織已確定，從2010年4月1日起，其118個成員國家和地區，必須使用機讀護照，人臉識別技術是首推識別模式，該規定已經成為國際標準。美國已經要求和該國有出入免簽證協議的國家在2006年10月26日之前必須使用結合了人臉、指紋等生物特征的電子護照系統。身份辨識可在機場、體育場、超市等公共場所對人群進行監視，如在機場安裝監視系統以防止恐怖分子登機。在銀行的自動提款機上應用身份辨識時，可以避免發生用戶卡片和密碼被盜時他人冒取現金的情況。人證識別比對系統可以準確進行身份辨識，如圖所示。6.3.4人臉識別的應用6.3

人臉識別第6章計算機視覺3.網絡應用人臉識別技術的網絡應用廣泛。例如，利用人臉識別技術，輔助信用卡網絡支付，以防止信用卡被冒用等，如圖所示。電子商務中的交易全部在網上完成，電子政務中的很多審批流程也都在線上完成。