遷移學(xué)習(xí)實現(xiàn)新冠肺炎X光檢測深度學(xué)習(xí)應(yīng)用技術(shù)項目引導(dǎo)案例

自2019年年底爆發(fā)以來，新冠肺炎疫情仍在全球范圍內(nèi)持續(xù)擴散，形勢依舊嚴(yán)峻。各國醫(yī)療系統(tǒng)都面臨著巨大的壓力，快速低成本檢測該疾病成為了醫(yī)學(xué)技術(shù)領(lǐng)域最熱門的話題，早已有專家發(fā)現(xiàn)，核酸+胸部醫(yī)學(xué)影像檢測相結(jié)合是更可信的檢測手段。

檢測和診斷工具能夠快速的將檢測結(jié)果提供給醫(yī)生，在篩選過程中協(xié)助醫(yī)生。胸部X光影像是低成本的檢測技術(shù)，但深度學(xué)習(xí)往往需要大量的訓(xùn)練樣本，如何在樣本不足的情況下使用深度學(xué)習(xí)進行檢測呢？遷移學(xué)習(xí)就是個很不錯的選擇！項目引導(dǎo)案例肺部圖像處理01介紹Tensorflow以及一些深度學(xué)習(xí)的基本知識和代碼操作模型搭建及訓(xùn)練02基于服裝圖像數(shù)據(jù)，進行最基礎(chǔ)的分類模型的訓(xùn)練思考一下使用遷移學(xué)習(xí)進行X光片檢測與常規(guī)X光片檢測有什么區(qū)別呢？項目引導(dǎo)案例肺部圖像處理職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08

肺部圖像處理了解深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用掌握訓(xùn)練集與測試集劃分的方法掌握基本的圖像處理方法與圖像增強技術(shù)能夠搭建圖像處理所需環(huán)境能夠獲取圖像數(shù)據(jù)和標(biāo)簽并轉(zhuǎn)換格式能夠?qū)?biāo)簽進行二值化處理能夠正確劃分圖像的訓(xùn)練集和測試集并保存劃分后的數(shù)據(jù)職業(yè)能力目標(biāo)01知識目標(biāo)技能目標(biāo)職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08

肺部圖像處理

了解Tensorflow2.0中的部分安裝包，將圖像數(shù)據(jù)轉(zhuǎn)換為array格式，標(biāo)簽二值化處理，設(shè)置訓(xùn)練集測試集，并制作成數(shù)據(jù)集加以保存。任務(wù)描述任務(wù)要求圖像和標(biāo)簽格式轉(zhuǎn)換；二值化處理；訓(xùn)練集和測試集劃分；數(shù)據(jù)集保存。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08

肺部圖像處理任務(wù)分析劃分測試集和訓(xùn)練集時需要注意什么？如何對標(biāo)簽進行二值化處理？任務(wù)分析與計劃03任務(wù)計劃表通過上面的思考，你是否對本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實施計劃吧！任務(wù)分析與計劃03項目名稱遷移學(xué)習(xí)實現(xiàn)新冠肺炎X光檢測任務(wù)名稱肺部圖像處理計劃方式自主設(shè)計計劃要求請用8個計劃步驟來完整描述出如何完成本次任務(wù)序號任務(wù)計劃1

2

3

4

5

6

7

8職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08

肺部圖像處理圖像預(yù)處理204知識儲備訓(xùn)練集和測試集1訓(xùn)練集和測試集的概念04為了避免過擬合，在進行（監(jiān)督）機器學(xué)習(xí)實驗時，一般會將數(shù)據(jù)集劃分為訓(xùn)練集和測試集。訓(xùn)練集

估計模型測試集

檢驗最終選擇最優(yōu)的模型的性能如何。借助這種劃分，可以對一個樣本集進行訓(xùn)練，然后使用不同的樣本集測試模型。訓(xùn)練集和測試集的概念04“調(diào)整模型”指的是調(diào)整可以想到的關(guān)于模型的任何方面。04兩個數(shù)據(jù)集必須相互獨立，不能使用測試集調(diào)整模型的訓(xùn)練參數(shù)。訓(xùn)練集和測試集劃分注意事項04確保劃分之前先進行隨機化，以保證訓(xùn)練集和測試集中不同種類標(biāo)簽的樣本平衡。訓(xùn)練集和測試集劃分注意事項04如果數(shù)據(jù)集規(guī)模很小，可以使用交叉驗證法評估模型的預(yù)測能力。訓(xùn)練集和測試集劃分注意事項圖像預(yù)處理204知識儲備訓(xùn)練集和測試集104歸一化

圖像歸一化是指對圖像進行了一系列標(biāo)準(zhǔn)的處理變換，使之變換為一固定標(biāo)準(zhǔn)形式的過程，該標(biāo)準(zhǔn)圖像稱作歸一化圖像。圖像歸一化的技術(shù)可以分為線性歸一化和非線性歸一化兩種。

線性歸一化可以放大和縮小原始圖像的長度和寬度，保留圖像的線性性質(zhì)。但有時要求對切割后的圖像中心的位置做適當(dāng)?shù)母捎梅蔷€性歸一化技術(shù)。04歸一化（2）減小幾何變換的影響（1）轉(zhuǎn)換成標(biāo)準(zhǔn)模式，防止仿射變換的影響（3）加快梯度下降求最優(yōu)解的速度。圖像歸一化的好處04灰度化

灰度化，在RGB模型中，即紅、綠、藍三原色來表示真彩色，如果R=G=B時，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值，因此，灰度圖像每個像素只需一個字節(jié)存放灰度值（又稱強度值、亮度值），灰度范圍為0-255。

為了達到提高整個應(yīng)用系統(tǒng)的處理速度的目的，需要減少所需處理的數(shù)據(jù)量，常常將圖像進行灰度化。二值化圖像的二值化是讓圖像的像素點矩陣中的每個像素點的灰度值為0（黑色）或者255（白色），也就是讓整個圖像呈現(xiàn)只有黑和白的效果。

在二值化后的圖像中的灰度值范圍是0或者255。04在數(shù)字圖像處理中，二值圖像占有非常重要的地位，圖像的二值化使圖像中數(shù)據(jù)量大為減少，從而能凸顯出目標(biāo)的輪廓。OpenCV中有兩個函數(shù)可以實現(xiàn)圖片的二值化cvThreshold（）和cvAdaptiveThreshold（）第一個函數(shù)是手動指定一個閾值；第二個函數(shù)是一個自適應(yīng)閾值二值化方法。二值化0404幾何變換

圖像幾何變換又稱為圖像空間變換，通過平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換對采集的圖像進行處理。

幾何變換中灰度級插值是必不可少的組成部分，通常采用的方法有最近鄰插值、雙線性插值和雙三次插值。04幾何變換

圖像幾何變換又稱為圖像空間變換，通過平移、轉(zhuǎn)置、鏡像、旋轉(zhuǎn)、縮放等幾何變換對采集的圖像進行處理。

幾何變換中灰度級插值是必不可少的組成部分，通常采用的方法有最近鄰插值、雙線性插值和雙三次插值。可用數(shù)學(xué)函數(shù)表達的簡單變換依賴實際圖象而不易用函數(shù)形式描述的復(fù)雜變換通過指定圖象中一些控制點的位移及插值方法來描述的空間變換空間變換

增強圖像中的有用信息，它可以是一個失真的過程，其目的是要改善圖像的視覺效果。

圖像增強的方法是通過一定手段對原圖像附加一些信息或變換數(shù)據(jù)，有選擇地突出圖像中感興趣的特征或者抑制(掩蓋)圖像中某些不需要的特征，使圖像與視覺響應(yīng)特性相匹配。在圖像增強過程中，不分析圖像降質(zhì)的原因，處理后的圖像不一定逼近原始圖像。圖像增強技術(shù)根據(jù)增強處理過程所在的空間不同，可分為基于空域的算法和基于頻域的算法兩大類。圖像增強04職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08

肺部圖像處理05任務(wù)實施圖像數(shù)據(jù)處理2環(huán)境準(zhǔn)備1訓(xùn)練集和測試集劃分3環(huán)境準(zhǔn)備05安裝opencv-python的時候可能會出現(xiàn)安裝失敗的問題，這是因為pip包版本落后，需要先升級pip包，再安裝tensorflow等其他安裝包。1、安裝依賴庫。05涉及代碼函數(shù)：2、導(dǎo)入必要的包和模塊ImageDataGenerator可用于增強數(shù)據(jù)，且將增強后的數(shù)據(jù)集變?yōu)閿?shù)據(jù)生成器VGG16為tensorflow中內(nèi)置的VGG16模型（經(jīng)過預(yù)訓(xùn)練后的模型），不需要再次搭建AveragePooling2D為二維平均池化層Dropout能夠使得神經(jīng)網(wǎng)絡(luò)稀疏化，防止模型過擬合Flatten可以將二維數(shù)據(jù)展平為一維數(shù)據(jù)，通常在全連接層之前使用Dense為全連接層Input為輸入層Model用于構(gòu)建神經(jīng)網(wǎng)絡(luò)模型Adam為模型的優(yōu)化方法to_categorical是將類別向量轉(zhuǎn)換為二進制的矩陣類型表示LabelBinarizer用于將標(biāo)簽二值化train_test_split用于將數(shù)據(jù)集自動化的分為訓(xùn)練集和測試集classification_report在報告中顯示每個類的精確度，召回率，F(xiàn)1值等信息confusion_matrix是混淆矩陣，用于判斷預(yù)測的準(zhǔn)確程度環(huán)境準(zhǔn)備05任務(wù)實施圖像數(shù)據(jù)處理2環(huán)境準(zhǔn)備1訓(xùn)練集和測試集劃分305imagePaths獲取每一個圖像的路徑，并全部存入list。1、獲取圖像數(shù)據(jù)和標(biāo)簽。圖像數(shù)據(jù)處理05設(shè)置兩個空列表用于儲存數(shù)據(jù)以及標(biāo)簽，列表名稱為“data”和“l(fā)abels”。運行以下代碼，輸出“[][]”。2、存儲數(shù)據(jù)和標(biāo)簽。#設(shè)置數(shù)據(jù)和標(biāo)簽的列表data=[]labels=[]print(data,labels)圖像數(shù)據(jù)處理05現(xiàn)在已經(jīng)有了儲存圖片的路徑，可以用循環(huán)的方式將路徑中的圖片數(shù)據(jù)和標(biāo)簽數(shù)據(jù)提取出來存入data和labels中。具體的做法為：使用imagePath.split()函數(shù)將路徑分割，并從分割后的列表中提取出標(biāo)簽值，賦值給變量label。使用cv2.imread()函數(shù)讀取imagePath路徑中的圖片數(shù)據(jù)，賦值給變量image。使用cv2.cvtColor()函數(shù)將圖片image從BGR格式轉(zhuǎn)為RGB格式，轉(zhuǎn)換格式的參數(shù)為cv2.COLOR_BGR2RGB。(4)使用cv2.resize函數(shù)將圖片image大小統(tǒng)一設(shè)置為(224,224)，原因是網(wǎng)絡(luò)的輸入層設(shè)置需要圖像為這個大小。#運行以下代碼，輸出肺部圖片。#輸出肺部圖片%matplotlibnotebookplt.imshow(data[1])圖像數(shù)據(jù)處理05將圖像數(shù)據(jù)統(tǒng)一除以255是為了將其歸一化，方便后續(xù)處理，也方便圖片的展示。將數(shù)據(jù)轉(zhuǎn)換為np.array格式后，后續(xù)可以更方便的使用數(shù)值處理包numpy進行計算，numpy的運算速度很快。3、對圖像和標(biāo)簽進行格式轉(zhuǎn)換圖像數(shù)據(jù)處理054、標(biāo)簽二值化處理計算機讀取數(shù)字進行運算會比讀取字符串要好，數(shù)字0，1沒有二義性，字符串換成英文、中文、日文即便代表同樣的意思，但計算機卻會認為是不同的東西。因此需要對標(biāo)簽進行二值化處理，利用LabelBinarizer()處理可以返回二值化標(biāo)簽。圖像數(shù)據(jù)處理05任務(wù)實施圖像數(shù)據(jù)處理2環(huán)境準(zhǔn)備1訓(xùn)練集和測試集劃分3051、了解train_test_split函數(shù)。使用sklearn模塊中的函數(shù)train_test_split來劃分訓(xùn)練集和測試集。訓(xùn)練集和測試集劃分train_test_split(data,labels,test_size,stratify,random_state)參數(shù)介紹：data:需要分類的所有數(shù)據(jù)labels:數(shù)據(jù)對應(yīng)的所有標(biāo)簽test_size：浮點數(shù)，表示劃分到測試集數(shù)據(jù)的比例，如果要設(shè)置20%的數(shù)據(jù)為測試集則令test_size=0.2stratify=labels：表示按labels分層抽取，例如有100個樣本，其中80正類，20負類，取出20%測試集后，測試集中16正類，4個負類random_state：整數(shù)，隨機種子052、設(shè)置訓(xùn)練集和測試集。利用train_test_split()函數(shù)將data和labels進行分類，將全部數(shù)據(jù)的20%作為測試集，設(shè)置隨機種子數(shù)為42。訓(xùn)練集和測試集劃分053、保存數(shù)據(jù)。創(chuàng)建文件夾dataReady，若提示文件夾存在，則忽略提示。訓(xùn)練集和測試集劃分使用np.save()將數(shù)據(jù)保存在dataReady文件夾下。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計劃03知識儲備04任務(wù)實施05任務(wù)檢查與評價06任務(wù)小結(jié)07任務(wù)拓展08

肺部圖像處理任務(wù)檢查與評價061、請參照評價標(biāo)準(zhǔn)完成自評和對其他小組的互評。2、各組請代表分析本組任務(wù)實施經(jīng)驗。項目名稱遷移學(xué)習(xí)實現(xiàn)新冠肺炎X光檢測任務(wù)名稱肺部圖像處理評價方式可采用自評、互評、老師評價等方式說明主要評價學(xué)生在項目學(xué)習(xí)過程中的操作技能、理論知識、學(xué)習(xí)態(tài)度、課堂表現(xiàn)、學(xué)習(xí)能力等

評價內(nèi)容與評價標(biāo)準(zhǔn)序號評價內(nèi)容評價標(biāo)準(zhǔn)分值得分1理論知識（20%）了解訓(xùn)練集和測試集的基本概念及劃分注意事項、圖像預(yù)處理的基本概念。（20分）20分

2專業(yè)技能（40%）環(huán)境準(zhǔn)備（5%）正確的安裝依賴庫（2分）5分

正確的導(dǎo)入必要的包和模塊（3分）3圖像數(shù)據(jù)處理（20%）正確的獲取圖像數(shù)據(jù)和標(biāo)簽（5分）20分

正確的存儲數(shù)據(jù)和標(biāo)簽（5分）正確的對圖像和標(biāo)簽進行格式轉(zhuǎn)換（5分）正確的標(biāo)簽二值化處理（5分）4訓(xùn)練集和測試集劃