任務三：使用數據增強抑制卷積神經網絡過擬合訓練模型、保存模型并繪制損失曲線人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合ImageDataGenerator基本用法人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合工作任務-建立貓狗識別模型人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合項目簡介——生成數據的dataframe人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合使用ImageDataGenerator實現數據增強人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合調用模型并識別貓狗圖片人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合工作任務——加載數據實現數據增強人工智能學院—1.任務導入任務總結任務三：使用數據增強抑制卷積神經網絡過擬合過擬合與數據增強人工智能學院—任務導入01任務目標02任務導學03任務知識點04任務總結05任務導入/01任務導入使用CNN網絡訓練的模型在訓練集上效果很好，但是在測試集上效果較差，例如任務2的貓狗識別，訓練集和測試的準確率相差了20%左右，這是模型出現了過擬合現象，也被稱之為“泛化能力差”，引起過擬合的原因有很多，最常見就是樣本不足，或者訓練集的樣本不具備代表性。常用數據集擴充、隨機失活方法（Dropout）、早停法等來解決模型遇到的過擬合問題，其中使用圖像增強器增加數據集是解決過模型過擬合的首選。任務目標/02了解過擬合和泛化能力的基本概念理解數據增強的原理和方法了解其他防止過擬合的方法掌握評價模型性能的方法知識目標能進行實驗比較不同防止過擬合的方法能應用模型解釋性工具拓展能力能應用數據增強技術擴展訓練數據能進行實時數據增強能調整和優化模型以減少過擬合能完成模型的訓練與評估能識別并解決過擬合問題能力目標任務導學/03什么是圖像增強通過對訓練數據進行擴充和增強，以提高模型的泛化能力和魯棒性。定義數據增強技術通過對原始數據進行一系列的變換操作，生成新的樣本。結構模型能夠更好地適應不同的輸入，提升在未見數據上的表現。訓練用途翻轉和旋轉、縮放和裁剪、平移、顏色變換、仿射變換、噪聲添加。任務導學任務知識點/04機器學習和深度學習的訓練過程中，經常會出現過擬合和欠擬合的現象。欠擬合是指模型在訓練集上的性能不佳，通常表現為模型復雜度不夠，無法捕捉數據的基本模式或關系。欠擬合可能發生在訓練初期，隨著訓練的進行，模型通常會逐漸改善其在訓練集上的表現。解決欠擬合的方法包括增加模型復雜度、改進特征提取方式或者增加訓練時間等。任務知識點模型的欠擬合過擬合是指在訓練數據上表現很好，但在未見過的測試數據上表現較差的現象。這通常是因為模型過于復雜，學習了訓練數據中的噪聲和細節，而不是數據的潛在分布。深度學習中由于模型復雜的結構和大量的參數，尤其容易發生過擬合。如圖中的貓狗識別模型，隨著訓練輪次的增加訓練集識別準確率繼續增加，而驗證集的準確率反而下降，這時說明模型出現了過擬合現象。任務知識點模型過擬合解決過擬合可以增加訓練數據量，通過獲取更多數據或使用數據增強技術來人為地擴充訓練集，這有助于模型學習到更加泛化的特征。可以使用應正則化手段，常用的是Dropout，這是一種在訓練過程中隨機關閉某些神經元的技術，強迫網絡不過分依賴任何一組特定的神經元，從而提升模型的泛化能力；或者使用權重衰減，在損失函數中加入權重懲罰項（如L1或L2正則化），以抑制過大的權重值，避免模型變得太復雜。還可以通過調整模型架構簡化網絡結構，減少層數或神經元數量，或者使用預訓練的網絡進行微調，以限制模型復雜度。任務知識點解決過擬合模型出現過擬合，增加樣本數量是首選的辦法。圖像數據增強是一種在訓練機器學習模型時常用的技術，特別是在深度學習中，它通過增加訓練集的多樣性來提高模型的泛化能力，從而避免過擬合，并提高模型在新數據上的性能。任務知識點圖像的數據增強組合增強，將以上幾種方法組合使用，創造出更多樣化的訓練樣本，例如在貓狗識別中，可以使用旋轉、平移變換、翻轉等數據增強方法處理同一張照片，生成多個新的樣本。任務知識點圖像的數據組合增強Keras中的圖像增強可以通過使用圖片預處理生成器ImageDataGenerator類來實現。可以把它理解為是一個圖片生成器，可以每一次給模型輸入一個batch_size大小的樣本數據，同時也可以在每一個批次中對這batch_size個樣本數據進行增強，擴充數據集大小，增強模型的泛化能力。比如進行旋轉，變形，歸一化等等，并且可以循環迭代。任務知識點ImageDataGenerator類ImageDataGenerator主要參數rotation_range：浮點數或整數，控制隨機旋轉的角度范圍。width_shift_range和height_shift_range：浮點數或整數，控制隨機平移的寬度和高度范圍。horizontal_flip：布爾值，決定是否進行水平翻轉。vertical_flip：布爾值，決定是否進行垂直翻轉。zoom_range：浮點數或整數，控制隨機縮放的范圍。fill_mode：字符串，定義填充新創建像素的方法。channel_shift_range：浮點數或整數，控制顏色通道上隨機偏移的范圍。任務知識點ImageDataGenerator類參數fit方法：將數據生成器用于制定的數據樣本。flow方法：接收圖片數據集和標簽,生成經過數據提升或標準化后的數據,依次取batch_size的圖片并逐一進行變換，然后再循環。flow_from_directory()方法：每次從文件夾中取batchsize張圖片進行處理。對其中每張圖片進行增強操作，然后將大小變為target_size并保存到保存目錄（save_to_dir）中。flow_from_directory()方法：從DataFrame中獲取圖像路徑