智能分揀需求業務背景人工智能應用素養01目錄CONTENTS機器人發展02視覺機器人產生機器人發展機器人發展制造業是國家經濟發展的重要支柱，“中國制造2025”概念提出引領發展。工業機器人作為先進技術裝備對產業的升級發展起著重要作用，工業機器人在國內的數量增長迅速工業機器人是一種應用范圍非常廣并且技術附加值較高的數字控制裝備。智能制造優點：為了避免工人在工業化生產流水線上進行不斷地機械式重復勞動，工人脫離危險生產環境。嚴格保證產品質量，極大地提高了工業化生產效率。機器人行業的競爭激烈，成本正在逐步降低人工勞動力的成本卻不同程度地上漲，這導致高性價比的機器人需求量迅速增加，分揀機器人：工業生產線上大量分揀業務如汽車零件分揀組裝、電子產品零部件分揀等。高的定位精度和較好的工作穩定性避免人工因素導致的分揀錯誤，提高了工業生產效率和質量傳統的分揀機器人通過示教編程或離線編程方法控制機器人，使得機器人按照規劃的移動路線和運行姿態完成分揀任務。傳統機器人缺點傳統分揀機器人通常只能運用在待抓取位置固定的應用場景如果待分揀工件的擺放位置或姿態發生變化，該類型機器人很難準確抓取到工件當實際作業環境發生變化時，需要重新通過示教或離線編程設置機器人。視覺機器人產生視覺機器人產生定義：為了能夠實現分揀操作，機器人需要知道待分揀的工件類型以及工件在傳送帶上運動時的實時位置信息需要給機器人安裝圖像傳感器設備，使其具有獲取外部圖像信息的能力，增強其自適應性以滿足分揀種類繁多的機械零部件的要求機器視覺是一門涉及較多領域的交叉學科，包括計算機圖形學、信號處理、計算機科學和光學理論等領域。機器視覺能對三維空間中的客觀事物進行測量和判斷，包括缺陷檢測、圖像識別、視覺定位等。主要工作流程感謝您的觀看！以上是

本節全部內容視覺分揀系統設計人工智能應用素養01目錄CONTENTS需求分析02整體方案設計需求分析需求分析制造業企業的生產技術改造需求，傳統的流水線作業需要大量人工進行操作，經營成本較高。該企業需要一款低成本且具有良好分揀性能的工件分揀系統。視覺分揀系統要對傳送帶上合格品和瑕疵品工件實現實時定位和精準分揀作業，且系統具有低構造成本的特點。整體方案設計整體方案設計

控制設備單元

各個模塊之間的互聯通訊，進行信息的處理和傳遞。采用樹莓派作為主控制器樹莓派主板上面集成的功能齊全，支持的外設，可自行裝載系統。圖像采集單元

圖像采集單元包括工業相機、光學鏡頭和傳輸網線，該單元將采集到的工件圖像傳輸給圖像處理單元進行處理。特點：千兆以太網工業相機傳送帶上的工件具有種類多且分布位置隨機的特點，加上工件出現在相機攝影范圍的時間較短，這就對工業相機的拍攝頻率和傳輸帶寬提出了較高要求使用普通以太網通信會出現比較大的傳輸延遲；千兆以太網通信最快可以達到大約1000Mbps的傳輸速率，使用千兆以太網工業相機可以滿足視覺分揀系統對圖像數據高速率傳輸的要求。人工智能分揀算法算法存在樹莓派中算法結果寫入樹莓派圖像處理單元

圖像處理單元核心單元，包括視覺處理算法、工控機和顯示器。處理單元中的工控機接收到圖像采集單元所采集的工件圖像后，調用視覺處理算法對工件圖像進行處理分析得到圖像中工件對應的種類信息和位置坐標信息，最后將該信息發送給機器人分揀單元。機器人分揀單元

機器人分揀單元機器人分揀單元主要是利用機械臂實現抓取功能。機器人分揀單元是基于視覺的工件分揀系統的執行機構，負責接收圖像處理單元發送的分揀信息，并根據分揀信息對傳送帶上的工件進行抓取與放置其中根據工件的位置坐標信息確定分揀機器人的抓取點，根據工件的種類信息確定分揀機器人的放置區域。感謝您的觀看！以上是

本節全部內容品類分類算法—基于卷積神經網絡的圖像分類算法人工智能應用素養01目錄CONTENTS卷積神經網絡02基于卷積神經網絡的圖像分類算法03常用的經典卷積神經網絡模型04分類器的一般訓練過程卷積神經網絡

卷積神經網絡本質上是一個多層感知機，其成功是由于采用了局部連接和共享權值的方式，使得神經網絡易于優化，降低過擬合的風險。卷積神經網絡可以使用圖像直接作為神經網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程

卷積神經網絡在二維圖像處理上有優勢如能自行抽取圖像特征，在復雜任務上具有良好的魯棒性和運算效率等。卷積神經網絡可以處理環境信息復雜、背景知識不清楚、推理規則不明確情況下的問題每一層獲取不同特征值

卷積神經網絡最主要的功能是特征提取和降維。特征提取是的是使用計算機提取圖像信息，決定每個圖像的點是否屬于一個圖像特征。特征提取的結果是把圖像上的點分為不同的子集，這些子集往往屬于孤立的點、連續的曲線或者連續的區域

降維指通過線性或非線性映射，將樣本從高維度空間映射到低維度空間，獲得高維度數據的一個有意義的低維度表示過程。

卷積神經網絡：一種特殊的深層神經網絡模型，它的特殊性體現在兩個方面：它的神經元的連接是非全連接的（局部連接或稀疏連接）同一層中某些神經元之間的連接的權重是共享的（即相同的）卷積神經網絡是一種有監督學習的機器學習模型，具有極強的適應性善于挖掘數據局部特征，提取全局訓練特征和分類，權值共享結構使之更類似于生物神經網絡，在模式識別各個領域都取得了很好的成果。卷積神經網絡

由輸入層、卷積層、池化層、全連接層以及輸出層組成卷積作用：獲取各層特征總結：卷積層的通過卷積核的過濾提取出圖片中局部的特征，跟上人類視覺的特征提取類似。池化層作用：降低維度防止過擬合全連接作用：轉換維度，多維變一維，判斷分類class1class2ClassificationOutput

LeNet-5的結構就如下圖所示：卷積層–池化層-卷積層–池化層–卷積層–全連接層CNN有哪些實際應用？基于卷積神經網絡的圖像分類算法圖像分類

即給定一幅輸入圖像，通過某種分類算法來判斷該圖像所屬的類別。

圖像分類的主要流程包括圖像預處理、圖像特征描述和提取以及分類器的設計。預處理包括圖像濾波（例如中值濾波、均值濾波、高斯濾波等）和尺寸的歸一化等操作圖像特征是對凸顯特性或屬性的描述，特征提取，分類器就是按照所選取的特征來對目標圖像進行分類的一種算法。傳統的圖像分類方法性能差異性主要依賴于特征提取及分類器選擇兩方面，傳統圖像分類算法所采用的特征都為人工選取，常用的圖像特征有形狀、紋理、顏色等底層視覺特征。傳統的圖像分類方法缺點卷積神經網絡圖像分類方法不再需要人工對目標圖像進行特征描述和提取，通過神經網絡自主地從訓練樣本中學習特征，并且這些特征與分類器關系緊密很好地解決了人工提取特征和分類器選擇的難題。常用的經典卷積神經網絡模型常用的經典卷積神經網絡模型1.LeNet-5模型2.AlexNet模型3.VGGnet4.GoogleNet5.ResNet6.DenseNetDenseNet分類器的一般訓練過程分類器的一般訓練過程分類器的一般訓練過程第1步：數據集準備。通常我們會管我們處理的數據叫做數據集（dataset），一個數據集通常來說包括三個部分：（1）訓練數據（trainingdata）及其標簽。（2）驗證數據（validationdata）及其標簽。（3）測試數據（testingdata）。分類器的一般訓練過程第2步：選擇分類模型將數據集進行預處理后，喂進數據模型，進行模型訓練，我們通過將損失函數降低，不斷優化模型中的參數。分類器的一般訓練過程第3步：分類算法的實際應用等到我們認為模型已經訓練的足夠好了，在驗證數據上取得了很好的效果之后，我們就將這個模型真正的運用于實際中去，代替我們工作感謝您的觀看！以上是

本節全部內容數據集準備人工智能應用素養01目錄CONTENTS創建編碼表02創建樣本和標簽表格03數據集劃分創建編碼表數據集準備本案例目的是將企業生產線上產生的兩類產品分揀出來，包括合格品和不合格品。

產品線數據集信息產品合格品不合格品數量224224用戶自行下載提供的數據集文件，解壓后獲得名為data的根目錄，它包含了2個文件夾，每個文件夾的文件夾名代表了圖片的類別名，每個子文件夾下面存放了當前類別的所有圖片，如圖所示。實際應用中，樣本以及樣本標簽的存儲方式可能各不相同不管數據集是以什么方式存儲的，總是能夠用邏輯規則獲取所有樣本的路徑和標簽信息。如有些場合所有的圖片存儲在同一目錄下，類別名可從圖片名字中推導出，例如文件名為合格品0132.png的圖，其類別信息可從文件名提取出。有些數據集樣本的標簽信息保存為JSON格式的文本文件中，需要按照JSON格式查詢每個樣本的標簽。

創建編碼表代碼創建樣本和標簽表格創建樣本和標簽表格（csv文件）目標為：csv文件保存的樣本路徑和標簽創建樣本和標簽表格（csv文件）（代碼）見代碼defload_csv(root,filename,name2label):數據集劃分數據集的劃分需要根據實際情況來靈活調整劃分比率。當數據集樣本數較多時，可以選擇80%-10%-10%的比例分配給訓練集、驗證集和測試集；當樣本數量較少時，如這里的圖片總數僅400張左右，如果驗證集和測試集比例只有10%，則其圖片數量約為40張，因此驗證準確率和測試準確率可能波動較大。對于小型的數據集，盡管樣本數量較小，但還是需要適當增加驗證集和測試集的比例，以保證獲得準確的測試結果。這里將驗證集和測試集比例均設置為20%，即有約40張圖片用作驗證和測試。數據集的劃分見代碼 defload_data(root,mode='train'):感謝您的觀看！以上是

本節全部內容數據集準備人工智能應用素養01目錄CONTENTS創建Dataset對象02數據預處理03創建模型04網絡訓練和測試創建Dataset對象1Part創建Dataset對象已知：通過load_data函數返回images、labels和編碼表信息用images、labels構建Dataset對象

數據集的隨機打散、預處理和批量化操作

數據預處理2Partmap(preprocess)函數完成數據的預處理工作由于目前images列表只是保存了所有圖片的路徑信息，而不是圖片的內容張量，需要在預處理函數中完成圖片的讀取以及張量轉換等工作。標準化后的數據適合網絡的訓練及預測，但是在進行可視化時，需要將數據映射回0~1的范圍。標準化和標準化的逆過程defnormalize(x,mean=img_mean,std=img_std)defdenormalize(x,mean=img_mean,std=img_std):上述方法分別創建訓練集、驗證集和測試集的Dataset對象。一般來說，驗證集和測試集并不直接參與網絡參數的優化，不需要隨機打散樣本次序。創建模型3Part構建模型使用DenseNet121模型來創建網絡，將DenseNetl21去掉最后一層，并根據自定義數據集的類別數，添加一個輸出節點數為5的全連接層，通過Sequential容器重新包裹成新的網絡模型。構建模型

在keras.applications模塊中實現了常用的網絡模型，如VGG系列、ResNet系列、DenseNet系列、MobileNet系列等，只需要一行代碼即可創建這些模型網絡。

include_top=False表明去掉最后的全連接層，pooling='max'表示DenseNet121最后一個Pooling層設計為MaxPolling網絡訓練與測試4Part網絡訓練與測試直接使用Keras提供的Compile&Fit方式裝配并訓練網絡，優化器采用最常用的Adam優化器，誤差函數采用交叉熵損失函數，并設置from_logits=True，在訓練過程中關注的測量指標為準確率。2.通過fit函數在訓練集上面訓練模型，每迭代一個Epoch測試一次驗證集，最大訓練Epoch數為100，為了防止過擬合，采用了EarlyStopping技術，在fit函數的callbacks參數中傳人EarlyStopping類實例。early_stopping為標準的EarlyStopping類，它監聽的指標是驗證集準確率，如果連續3次驗證集的測量結果沒有提升0.001，則觸發EarlyStopping條件，訓練結束。結果分析感謝您的觀看！以上是

本節全部內容基于遷