第四章計算機視覺CONTENTS目錄計算機視覺應用場景01計算機視覺基礎與應用開發02案例體驗03計算機視覺應用場景4.1概述01應用場景02概述計算機視覺（ComputerVision，CV）：是一門研究如何使機器“看”的科學。用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖形處理成為更適合人眼觀察或儀器檢測的圖像。對人類而言，通過視覺輸入的信息占據各種感官信息的75%以上。我們常說“百聞不如一見”；西方人常說"Onepictureisworthtenthousandwords"。01人眼可見光處理是計算機視覺的很重要一部分；除此之外，計算機視覺可以感知人眼所看不到的很多信息。從伽馬射線、X射線、紫外、可見光、紅外、雷達、毫米波、無線電波等各種電磁波的成像，都可以用于計算機視覺分析。概述01/s?id=1551073604060130&wfr=spider&for=pc可見光X射線伽馬射線紅外線微波無線電波概述01應用場景02人臉檢測文字識別自動駕駛圖像識別應用場景02研究方向應用場景物體和生命體的狀態和屬性能夠通過它們表面的溫度分布圖像來衡量。熱成像是記錄地球上任何物體釋放的紅外波光波，并且對其成像的技術。熱成像的應用領域非常廣泛，例如工業、安防、軍事、科研等。熱成像技術提供了一種安全、無損傷的數據獲取手段；在醫學、生態學、動物學等領域已有大量的應用。/showarticle.asp?id=45310498602自然科學應用場景醫學影像是臨床疾病篩查、診斷、治療引導和評估的重要工具。常規的影像診斷依賴于閱片醫生的水平和經驗，存在著主觀性強、重復性低以及定量分析不夠等問題，迫切需要新的智能技術介入，幫助醫生提升診斷的準確性和閱片效率，同時也能進一步拓展醫學影像在臨床診療中的應用。隨著深度學習技術發展，智慧醫療已經成為人工智能最為重要的應用領域之一，并成為解決醫療行業如下兩大痛點的有效途徑之一:1)醫療供需不平衡，影像醫生短缺與臨床影像數據大量增長之間的矛盾;2)影像醫生水平參差不齊且資源分布不均。與醫學影像相關的醫學成像系統和醫學圖像處理與分析是智慧醫療最為典型的應用場景。02醫療領域應用場景臨床常用的4大影像技術：X射線、超聲波、計算機斷層掃描（CT）和磁共振成像（MＲI）

；計算機視覺主要應用于圖像重建、病灶檢測、圖像分割、圖像配準和計算機輔助診斷（CAD）。醫學影像中做心臟和大血管圖像分割02醫療領域應用場景/landing/vision/pr_3d_robot_vision.jsp?aw=gabaidukcvisials200630067人工視覺檢測很大程度上取決于檢驗員的能力、經驗、專心程度，容易導致遺漏、分類錯誤等問題。右圖機械手臂檢測和抓取合格零件的應用，計算機視覺能夠通過三維視覺成像及檢測分析，自動計算出適合的機械手動作。因為有實時三維視覺分析，機械手臂抓取不受工件位置或朝向的影響，能實現穩定檢測。02工業領域應用場景02農業領域在農作物生長過程中，作物的葉、莖桿、果實的顏色、外觀形態、紋理等特征時刻發生變化，實時動態地監測作物形態變化，研究外界環境對作物生長狀況產生的影響和作物生長機制具有重要意義。基于深度學習的植物生長模型庫：通過智能攝像頭的應用，實時采集、監測、分析、診斷，建立植物生長模型，應用深度神經網絡算法，實現植物生長狀態判斷與預測，自動生成執行控制系統的決策、建議。植物模型應用科研系統呈現及遠程控制云平臺大數據5G通信服務溫室控制系統應用場景02安防領域平安城市：隨著計算機視覺技術、網絡技術的日趨普及與成熟，“高清化、網絡化、智能化”已經成為平安城市建設的一種必然趨勢。構建“立體化”城市防控體系，滿足公安各個業務警種實戰應用的平安城市系統，推出了新一代平安城市解決方案，為公安機關治安防控、犯罪打擊、視頻偵查、指揮調度、保衛任務等各警種實戰應用提供支撐與保障。/solutions/id-322/接入匯聚與數據中心應用場景02安防領域公安視頻偵查平臺：運用行為分析技術對實時視頻進行智能分析，支持穿越警戒面、進入/離開區域、區域入侵、非法停車、物品遺留、物品丟失、人員徘徊、快速移動、人員聚集等多種事件的分析檢測；支持行為排查、人員排查和車輛排查功能，快速定位目標視頻片段，提高視頻查看效率；支持自動報警，提高監控的效率，實現智能化監控防范。/solutions/id-322/應用場景02無人駕駛在無人駕駛中，車輛在行駛時需要實時地去感知周圍的環境，包括行駛在哪里、周圍有什么障礙物、當前交通信號怎樣等。就像我們人類通過眼睛去觀察世界，無人車也需要這樣一種“眼睛”，這就是傳感器。傳感器有很多種，例如激光雷達、攝像頭、夜視攝像頭、超聲波傳感器、遠程雷達、近程雷達；每種傳感器都有自己的特點的作用。http://3/iche/yxa-2595593.html計算機視覺基礎與應用開發4.2圖像基礎原理01圖像處理技術02應用開發流程0301圖像基礎原理人眼成像：人眼包括角膜、晶狀體、玻璃體和視網膜。外界物體的反射光線，經過角膜、房水，由瞳孔進入眼球內部，再經過晶狀體和玻璃體的折射作用，在視網膜上能形成清晰的物像，物像刺激了視網膜上的感光細胞，這些感光細胞產生的神經沖動，沿著視神經傳到大腦皮層的視覺中樞，就形成視覺。視網膜上所形成的圖像是倒立的，通過大腦處理，我們感受到的圖像才是正常的。照相機成像原理與人眼基本類似，照相機的鏡頭相當于角膜和晶狀體，而照相機的底片相當于視網膜。數字相機、攝像機等成像系統首先得到模擬圖像，經過采樣和量化即得到數字圖像。01圖像基礎原理黑白圖像灰度圖像彩色圖像01圖像基礎原理圖像數據黑白圖像灰度圖像黑白圖像：只有黑白兩種顏色，存儲數據只有0或255，一般0表示黑色，255表示白色。灰度圖像：是灰度值介于0-255的數據，計算機中一般按照二維矩陣存儲。01圖像基礎原理彩色圖像每個像素的顏色由存儲在該位置的紅藍綠色共同決定，分別占用8位，每個像素包含24（8*3）位顏色信息圖像的主要參數01圖像基礎原理圖像數據Blue-ChannelGreen-ChannelRed-Channel彩色圖像：一般按照紅綠藍三色通道存儲BGR（RGB），圖像處理時一般按照三維矩陣存儲。01圖像基礎原理圖像壓縮方式：有損壓縮：經過有損壓縮，重建后的圖像和原始圖像有一定偏差，但是不影響人們對圖像含義的正確理解。適合于自然的圖像，例如一些應用中圖像的微小損失是可以接受的（有時無法感知的）。無損壓縮：經過無損壓縮以后的數據進行圖像復原（解壓），重建的圖像與原始圖像完全相同。繪制的技術圖、圖標或者漫畫優先使用無損壓縮；醫療圖像或者用于存檔的掃描圖像等這些有價值的內容的壓縮也盡量選擇無損壓縮方法。01圖像基礎原理常見的圖像存儲格式：名稱壓縮編碼方法性質典型應用開發公司BMPRLE（行程長度編碼）無損Windows應用程序MicrosoftTIFRLE,LZW（字典編碼）無損桌面、出版Aldus,MicrosoftGIFLZW（字典編碼）無損因特網CompuServeGPEGDCT(離散余弦變化)

Huffman編碼支持有損/無損因特網、數碼相機等ISO/IEC01圖像基礎原理圖像壓縮編碼：RLE（行程長度編碼）：行程長度編碼把圖像分成兩種情況：連續的重復數據塊，連續不重復的數據塊，把連續重復的色塊按照重復次數加色塊的方式存儲，比如自然圖像中的天空。LZW（字典編碼）：基于表查詢算法把文件壓縮成小文件的壓縮方法，又叫串標壓縮算法。除了用于圖像數據處理以外，LZW壓縮技術還被用于文本程序等數據壓縮領域。JJJJJJAAAAVVVVAAAAAA6J4A4V6ARLEABABABABAB01223LZWStepPSymbol1nullnull2A03B14AB25ABAB301圖像基礎原理位圖與矢量圖：位圖（bitmap）：也稱為點陣圖，是使用像素陣列來表示的圖像，當放大位圖時，可以看見賴以構成整個圖像的無數個單個方塊。放大01圖像基礎原理放大位圖與矢量圖：矢量圖（vector）：是指用一系列計算指令來表示的圖，這些圖的元素是一些點、線、矩形、多邊形、圓和弧形等等，它們都是通過數學公式計算獲得的。通常的存儲文件是SVG格式。01圖像基礎原理顏色深度（像素深度）存儲每個像素的顏色（或亮度）信息所占用的二進制位數。色深色彩種類示例1bit21=2色8bit28=256色12bit24*24*24=212=4096色24bit28*28*28=224=16777色01圖像基礎原理圖像分辨率：是確定組成一幅圖像的像素數目；圖像分辨率是一幅圖片中像素的組成數量。圖像分辨率單位：ppi、水平像素數*垂直像素數（1024*768）。不同圖像分辨率的相同圖像在同樣大小顯示區域的顯示情況01圖像基礎原理圖像的大小（數據量）是指在磁盤上存儲整幅圖像所占用的字節數。可按下面的公式計算：圖像文件的字節數=圖像分辨率╳量化位數/8例如：一幅分辨率為640╳480的黑白圖像，文件的大小為：（640╳480）/8=38400（B）=37.5(KB)一幅同樣分辨率的圖像，圖像深度為8位。則圖像文件的大小為：（640╳480）╳8/8=307200（B）=300(KB)一幅同樣大小的真彩色圖像，則圖像文件的大小為：（640╳480）╳24/8=921600（B）=900(KB)01圖像基礎原理OpenCV概述OpenCV是一個基于BSD許可（開源）發行的跨平臺計算機視覺庫，可以運行在Linux、Windows、Android和MacOS操作系統上。輕量級而且高效——由一系列C函數和少量C++類構成，同時提供了Python、Ruby、MATLAB等語言的接口。OpenCV實現了圖像處理和計算機視覺方面的很多通用算法，已成為計算機視覺領域最有力的研究工具。OpenCV可以解決的問題:人機交互、機器人視覺、運動跟蹤、圖像分類、人臉識別、物體識別、特征檢測、視頻分析、深度圖像等。官網：/圖像處理技術02圖像基本操作采用cv2.imread(),cv2.imshow(),cv2.imwrite()加載圖片，顯示圖片，保存圖片。圖片在計算機中的表示電腦上的彩色圖是以RGB(紅-綠-藍，Red-Green-Blue)顏色模式顯示的，但OpenCV中彩色圖是以B-G-R通道順序存儲的，灰度圖只有一個通道。圖像坐標的起始點是在左上角，所以行對應y，列對應x：圖像處理技術02圖像處理技術02閾值分割閾值分割法是一種基于區域的圖像分割技術，原理是把圖像象素點分為若干類。閾值分割特別適用于目標和背景占據不同灰度級范圍的圖像。它不僅可以極大的壓縮數據量，而且也大大簡化了分析和處理步驟；是進行圖像分析、特征提取與模式識別之前的必要的圖像預處理過程。一般流程：通過判斷圖像中每一個像素點的特征屬性是否滿足閾值的要求，來確定圖像中的該像素點是屬于目標區域還是背景區域，從而將一幅灰度圖像轉換成二值圖像。圖像處理技術02閾值分割的幾種方法：（1）固定閾值法：也就是我們自己根據需要處理的圖像的先驗知識，對圖像中的目標與背景進行分析。通過對像素的判斷，圖像的分析，選擇出閾值所在的區間，并通過實驗進行對比，最后選擇出比較好的閾值。（2）OpenCV通過cv2.threshold()函數用來實現固定閾值分割：

ret,th=cv2.threshold(img,127,255,cv2.THRESH_BINARY)，其中：參數1：要處理的原圖，一般是灰度圖；參數2：設定的閾值；參數3：對于THRESH_BINARY、THRESH_BINARY_INV閾值方法所選用的最大閾值，一般為255；參數4：閾值的方式，主要有5種（cv2.THRESH_BINARY、cv2.THRESH_BINARY_INV、cv2.THRESH_TRUNC、cv2.THRESH_TOZERO、cv2.THRESH_TOZERO_INV）。返回值：ret是returnvalue縮寫，代表當前的閾值。th指的是閾值分割以后的圖像。閾值分割圖像處理技術02importcv2#灰度圖讀入img=cv2.imread('gradient.jpg',0)#閾值分割ret,th=cv2.threshold(img,127,255,cv2.THRESH_BINARY)cv2.imshow('thresh',th)cv2.waitKey(0)cv2.destroyAllWindows()閾值分割示例代碼：圖像處理技術02固定閾值的5種方式：?cv2.THRESH_BINARY（二值化）?cv2.THRESH_BINARY_INV（二值反轉）?cv2.THRESH_TRUNC（截斷）?cv2.THRESH_TOZERO（零化）?cv2.THRESH_TOZERO_INV（零化反轉）閾值分割圖像處理技術02閾值分割自適應閾值法：自適應閾值會每次取圖片的一小部分計算閾值，圖片不同區域的閾值就不盡相同。固定閾值是在整幅圖片上應用一個閾值進行分割，并不適用于明暗分布不均的圖片。OpenCV通過cv2.adaptiveThreshold()實現自動閾值分割，th2=cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,101,4)，其中：參數1：要處理的原圖；參數2：最大閾值，一般為255；參數3：小區域閾值的計算方式；ADAPTIVE_THRESH_MEAN_C：小區域內取均值；ADAPTIVE_THRESH_GAUSSIAN_C：小區域內加權求和，權重是個高斯核；參數4：閾值方法，只能使用THRESH_BINARY、THRESH_BINARY_INV；參數5：圖片中分塊的大小，如11塊就是11*11的小塊；參數6：閾值計算方法中的常數項，最終閾值等于小區域計算出的閾值再減去此值。

圖像處理技術02importcv2img=cv2.imread('lena.jpg',cv2.IMREAD_GRAYSCALE)ret,th1=cv2.threshold(img,127,255,cv2.THRESH_BINARY)#固定閾值#平均值法th2=cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,101,4)#加權平均（高斯核）th3=cv2.adaptiveThreshold(img,255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY,101,4)imgs=[img,th1,th2,th3]titles=['Original','ThreshHoldConst','AdaptiveMean','AdaptiveGauss']foriinrange(4):dWindow(titles[i],v2.WINDOW_AUTOSIZE)cv2.imshow(titles[i],imgs[i])cv2.waitKey(0)cv2.destroyAllWindows()閾值分割示例代碼：圖像處理技術02原圖固定閾值自動閾值-Mean自動閾值-Gauss閾值分割圖像處理技術02（3）最大類間方差法（OTSU）：OTSU是一種使用最大類間方差自動確定閾值的方法。是一種基于全局的二值化算法，它是根據圖像的灰度特性，將圖像分為前景和背景兩個部分。當取最佳閾值時，兩部分之間的差別應該是最大的，在OTSU算法中所采用的衡量差別的標準就是較為常見的最大類間方差。前景和背景之間的類間方差如果越大，就說明構成圖像的兩個部分之間的差別越大，當部分目標被錯分為背景或部分背景被錯分為目標，都會導致兩部分差別變小，當所取閾值的分割使類間方差最大時就意味著錯分概率最小。閾值分割#otsu閾值ret2,th2=cv2.threshold(img,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)#先進行高斯濾波，再使用otsu閾值法blur=cv2.GaussianBlur(img,(5,5),0)ret3,th3=cv2.threshold(blur,0,255,cv2.THRESH_BINARY+cv2.THRESH_OTSU)示例代碼：圖像處理技術02針對雙峰圖片（指圖片的灰度直方圖上有兩個峰值，直方圖就是每個值（0~255）的像素點個數統計），Otsu算法假設這幅圖片由前景色和背景色組成，通過統計學方法（最大類間方差）選取一個閾值，將前景和背景盡可能分開。閾值分割圖像處理技術02邊緣(edge)：是指圖像局部強度變化最顯著的部分。主要存在于目標與目標、目標與背景、區域與區域(包括不同色彩)之間，是圖像分割、紋理特征和形狀特征等圖像分析的重要基礎。圖像邊緣檢測：是圖像處理和計算機視覺中的基本問題，其目的是標識數字圖像中亮度變化明顯的點。圖像屬性中的顯著變化通常反映了屬性的重要事件和變化，主要包括深度上的不連續、表面方向不連續、物質屬性變化和場景照明變化。邊緣檢測是圖像處理和計算機視覺中，尤其是特征提取中的一個重要研究領域。圖像邊緣檢測可以大幅度減少數據量，剔除可以認為不相關的信息，只保留圖像中重要的結構屬性。邊緣檢測圖像處理技術02一般的步驟：1.濾波：邊緣檢測算法主要是基于圖像強度的一階和二階導數，但是導數對于噪聲很敏感，因此需要采用濾波器來改善與噪聲有關的邊緣檢測器的性能。2.增強：增強邊緣的基礎是確定圖像各點鄰域強度的變化值。增強算法可以將灰度點鄰域強度值有顯著變化的點凸顯出來。3.檢測：鄰域中有很多的點的梯度值較大，但是在特定的應用中，這些點并不是要找的邊緣點，需要取舍。邊緣檢測圖像處理技術02Canny邊緣檢測算法是JohnF.Canny于1986年開發出來的一個多級邊緣檢測算法。

Canny邊緣檢測：使用cv2.Canny()檢測物體的邊緣。Canny邊緣檢測方法常被譽為邊緣檢測的最優方法。cv2.Canny()進行邊緣檢測，參數2、3表示最低、高閾值Canny(image,threshold1,threshold2[,edges[,apertureSize[,L2gradient]]])->edges邊緣檢測圖像處理技術02先閾值分割后再邊緣檢測效果會更好邊緣檢測圖像處理技術02例如，要檢測眼睛，因為眼睛肯定在臉上，所以感興趣的只有臉這部分，可以單獨把臉截取出來，以大大節省計算量，提高運行速度。感興趣區域ROI（RegionofInterest）：ROI圖像處理技術02圖像亮度：以灰度圖像為例，圖像亮度指的是圖像的明暗程度，圖像的像素值整體越接近于255，圖像越亮，反之越接近于0，圖像越暗。圖像對比度：假設灰度圖像的像素值的范圍為[a,b]，如果b-a的值越接近于255，圖像對比度越大，看上去圖像更清晰；反之越接近于0，圖像越不清晰。

OpenCV中亮度和對比度應用這個公式來修改：g(x)=αf(x)+β。

其中：α(>0)：控制圖片的對比度；β：常稱為增益與偏置值，控制圖片亮度。亮度對比度調節圖像處理技術02增加圖像的亮度（β）：

亮度對比度調節圖像處理技術02增加圖像對比度（α）：

亮度對比度調節圖像處理技術02彩色圖像調整亮度和對比度：g(x)=αf(x)+β=1.5*f(x)+30

亮度對比度調節圖像采集圖像清洗圖像標注模型創建訓練模型評估發布調用應用現場圖像采集（拍照、掃描）、網絡爬取、開源數據集獲取圖像尺寸、灰度圖清洗、損壞圖像清洗等LabelMe等常用的圖像標注工具可以選擇的成熟模型、自己訓練模型等準確率、精確率、召回率平臺API、自建模型應用調用流程03應用開發流程圖像采集訓練是人工智能的根基，需要大量的數據，能夠覆蓋各種可能的場景，這樣才能得到一個優良的算法模型，開發更加有效的智能應用出來。而數據作為人工智能這艘火箭的燃料，可以通過各種途徑采集獲取，常見的有現場圖像采集（拍照、掃描）、網絡爬取、開源數據集獲取。網絡爬取開源數據集現場采集03應用開發流程計算機視覺應用開發中，數據處理占據工作量的70%。

圖像數據的質量（準確性、完整性、時效性、可解釋），直接決定了模型的預測和泛化能力。真實圖像數據中，存在缺失值、噪音、異常點，不利于算法模型訓練。圖像清洗分析與挖掘數據收集結果呈現與評價探索與預處理應用開發流程03圖像標注(ImageCaptioning)：有人工數據標注、自動數據標注和外包數據標注。人工數據標注的優點是標注結果比較可靠，自動數據標注一般都需要二次復核，避免程序錯誤。人工數據標注的標注工具可分為客戶端與WEB端標注工具，在線的WEB端標注工具面臨數據流失風險。常用的圖像標注工具：LabelImg、Labelme、RectLabel、OpenCV/CVAT圖像分類標注語義分割標注JSON文件03應用開發流程圖像標注/easydl/app/1/100/models/new03應用開發流程創建模型03應用開發流程訓練模型03應用開發流程模型部署03應用開發流程創建應用03應用開發流程調用應用案例體驗4.3案例體驗1:人臉檢測01案例體驗2:邊緣檢測0201案例體驗1:人臉檢測目標

完成圖片多人臉檢測功能的應用開發。

效果如圖所示：

CascadeClassifier是OpenCV用來做目標檢測的一個級聯分類器。并且可以使用Haar和LBP兩種特征。Haar特征是一種反映圖像灰度變化，通過像素分模塊求差值的一種特征。Haar特征包括四種特征描述方式：邊緣特征、線性特征、中心特征和對角線特征。臉部的一些特征能由矩形特征簡單的描述，如：眼睛要比臉頰顏色要深，嘴巴比周圍顏色要深等。02案例體驗1:人臉檢測分析

#人臉檢測模型應用-圖片人臉檢測fromcv2importcv2#讀取待處理圖像img=cv2.imread('facedetect2.jpg',cv2.IMREAD_COLOR)#加載正面人臉檢測分類器face_data=cv2.CascadeClassifier('haarcascade_frontalface_default.xml')#檢測人臉faces=face_data.detectMultiScale(img,1.3,2)#根據返回繪制人臉矩形框forx,y,w,hinfaces:cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),1)#顯示圖像cv2.imshow('img',img)cv2.waitKey(0)cv2.destroyAllWindows()02案例體驗1:人臉檢測實現

Haar特征采用了矩陣積分圖來加速矩陣計算。02案例體驗1:人臉檢測知識點

CascadeClassifier人臉檢測。調用CascadeClassifier中的detectMultiScale(image,scaleFactor,minNeighbors)函數進行人臉檢測參數1為image，代碼中img為輸入的圖像；參數2為scaleFactor，表示在前后兩次相繼的掃描中，搜索窗口的比例系數；參數3為minNeighbors，表示構成檢測目標的相鄰矩形的最小個數(默認為3個)。02案例體驗1:人臉檢測知識點

矩形框繪制通過cv2.rectangle(img,pt1,pt2