介紹計算機視覺本章內容2/57計算機視覺概述研究挑戰課程簡介開源庫與應用環境介紹參考書環境搭建計算機視覺圖片信息量有多大？

1000個詞？

一圖勝千言3/57計算機視覺錯覺

A和B的顏色一樣嗎？4/57計算機視覺5/57研究理論和應用：研究如何使機器“看”的科學讓計算機具有人類視覺的所有功能讓計算機從圖像數據中，提取有用的信息，并解釋重構人眼；重構視覺皮層；重構大腦剩余部分計算機視覺6/57模擬人類視覺的優越能力：識別人、物體、場景估計立體空間、距離躲避障礙物進行導航想象并描述故事理解并講解圖片計算機視覺7/57彌補人類視覺的缺陷：關注顯著內容、容易忽略很多細節不在乎、不擅長精細感知容易受幻覺干擾描述主觀、模棱兩可不善于長時間穩定的執行同一個任務當然，還有視覺障礙人士計算機視覺圖像數據（圖片、視頻、深度圖片等）感知設備（攝像頭）計算設備（CPU/GPU/FPGA）方向盤特斯拉地圖無人駕駛……解釋8/57計算機視覺高度復合學科工程計算機科學數學心理學生物學…計算機視覺圖像處理機器人神經科學認知科學機器學習計算圖形學信息獲取算法硬件系統9/57計算機視覺10/572個主要研究維度語義感知（semantic）幾何屬性（Geometry）趕上人類視覺了嗎？迅猛發展（特定領域已趕上）任重道遠（

not

yet

）計算機視覺計算機視覺語義感知分類

Classification物體、屬性、場景等檢測

Detection物體、行人、人臉等識別

Recognition物體：車牌、文本人：人臉、指紋、虹膜、步態、行為等分割

Segmentation檢索

Retrieval 以文搜圖、以圖搜圖、圖文聯搜等語言

Language 圖片描述、圖片問答等幾何屬性3D

建模雙目視覺增強現實VR11/57計算機視覺12/57語義感知在人工智能中是主角：場景理解

最終形態視覺描述（Visual

Captioning）視覺問答（Visual

Question

Answering）基礎理解

根本分類、識別、檢測、分割、顯著性等得益于深度學習網絡發展，性能大幅提升計算機視覺感知上的本質差異人類13/57計算機計算機視覺人工智能目標解決”像素值”與”語義”之間的鴻溝（Gap）人眼所看到的14/57計算機所看到的研究挑戰視角變化15/57研究挑戰光照變化16/57研究挑戰尺度變化17/57研究挑戰形態變化18/57研究挑戰背景混淆干擾19/57研究挑戰遮擋20/57研究挑戰類內物體的外觀差異21/57課程簡介部分I：計算機視覺的基礎圖像預處理圖像特征及描述未有深度學習之前部分II：深度學習的理論基礎BP神經網絡詳解深度學習基礎部分III：深度學習在計算機視覺中的應用圖像分類

卷積神經網絡CNN圖像檢測

區域卷積神經網絡R-CNN圖像分割

全卷積神經網絡FCN圖像描述

迭代神經網絡RNN

圖像生成

生成對抗網絡GAN 圖像檢索22/57主要研究問題23/57圖像預處理圖像顯示與存儲原理圖像增強的目標點運算：基于直方圖的對比度增強形態學處理空間域處理：卷積卷積的應用（平滑、邊緣檢測、銳化等）頻率域處理：傅里葉變換、小波變換主要研究問題圖像特征及描述顏色特征量化顏色直方圖聚類顏色直方圖幾何特征Edge，Corner，Blob基于關鍵點的特征描述子SIFT，SURF，ORB其他特征提取（LBP、Gabor）24/57主要研究問題深度學習之前的方法圖像分割基于閾值、基于邊緣基于區域、基于圖論人臉檢測Haar-like特征+級聯分類器行人檢測HOG+SVMDPM25/57主要研究問題神經網絡與深度學習基礎神經網絡神經元前饋網絡梯度下降誤差反向傳播深度學習與傳統神經網絡的區別目標函數改進的梯度下降避免過適應26/57主要研究問題識別

內容是什么？人臉識別字符識別車牌識別行為識別步態識別27/57主要研究問題基于深度學習的方法圖片分類

有沒有？28/57主要研究問題29/57卷積神經網絡CNN計算機視覺中的基礎網絡有監督深度模型時代的起點AlexNet

VGG

GoogLeNet

ResNet

ResNeXtGoogLeNetInceptionV1

V2

V3

V4InceptionResNetV1

V2結構趨勢更深（Depth）：8層

1000+層更寬（Width）：1分支

4+分支更多基數（Cardinality

）：1

32AlexNet卷積網絡主要研究問題30/57主要研究問題基于深度學習的方法檢測

目標在哪兒？物體檢測人臉檢測姿態檢測31/57主要研究問題32/57區域卷積神經網絡R-CNN讓基礎網絡具備區域輸出能力第1階段：R-CNN

SPP-Net

Fast/Faster

R-CNN第2階段：YOLO

SSD

R-FCN目的檢測更快、更準確工業應用智能監控輔助駕駛主要研究問題R-CNN

Fast

Faster33/57主要研究問題基于深度學習的方法圖片分割

區域輪廓？前景分割語義分割34/57主要研究問題35/57全卷積神經網絡FCN讓基礎網絡做像素輸出FCN

SegNet/DeconvNet

DeepLab目的語義推斷分割更精確工業應用輔助駕駛……全卷積網絡FCN反卷積/轉置卷積主要研究問題36/57主要研究問題

對醫學、生物影像中的器官、組織或細胞進行分割，即判斷出影像中的每一個像素點是否屬于器官、組織或細胞。49/58主要研究問題生物醫療領域的圖像分割U-net和V-net38/57主要研究問題視覺&語言圖片描述

（Captioning）圖片問答（Question

Answering）Caption一個人在用自動駕駛系統開車QAQ：這個人為什么雙手離開了方向盤A：因為他啟動了無人駕駛功能39/57主要研究問題40/57遞歸神經網絡RNN具有記憶功能，構建不定長序列數據的模型Vanilla

RNN

LSTM

GRU應用范圍文本序列區域序列視頻序列研究問題圖片描述、問答機器翻譯圖說模型CNN+LSTM41/57主要研究問題主要研究問題圖片生成樣本分布學習超分辨率以圖生文語義分割42/57主要研究問題43/57生成對抗網絡GAN網絡結構生成器網絡（

Generator

）判別器網絡（

Discriminator

）網絡改進GAN

CGAN

DCGAN

wGANSRGAN應用范圍：樣本數據分布（生成）學習有監督問題的優化主要研究問題超分辨SRGAN網絡44/57主要研究問題視覺文本雙向編碼網絡45/57主要研究問題圖片檢索

相似圖片46/57課程簡介47/57重點&難點各種深度神經網絡模型（DNN）的理解Tensorflow的使用實踐環境WindowsOpenCV

3.4Python

3.6+TensorFlow

1.9+Keras等開源庫介紹48/57OpenCV函數庫：計算機視覺，機器學習優化算法：2500+編程語言:

C,C++,

Java,Python，

Matlab系統:Windows,Linus,MacOS,iOS,Android并行計算：CUDA,

OpenCLURL:

/開源庫介紹49/57Caffe函數庫：深度學習發布方：BerkeleyVision

andLearningCenter(BVLC)編程語言:

C++,Python并行計算：CUDAURL:

特色：在配置中定義模型并優化，不需要硬編碼代碼的可擴展性強運行速度非常快開源庫介紹50/57Torch(PyTorch)函數庫：深度學習發布方：Facebook編程語言:

Lua(Python)并行計算：CUDAURL:

https://torch.ch(/)特色：使用動態計算圖，提供了更快速的方法提供了運行在

GPU/CPU

之上、基礎的張量操作庫;支持共享內存的多進程并發（multiprocessing

）庫開源庫介紹51/57Tensorflow函數庫：深度學習發布方：Google編程語言:

Python并行計算：CUDAURL:

https:///特色：多機、多GPU分布式適用于超大模型，超大數據集Tensorboard將訓練過程可視化開源庫介紹52/57Keras函數庫：深度學習發布方：

FranoisChollet編程語言:

PythonURL:

https://keras.i