《邊緣計算與人工智能應用開發技術》全套教學課件_第1頁
《邊緣計算與人工智能應用開發技術》全套教學課件_第2頁
《邊緣計算與人工智能應用開發技術》全套教學課件_第3頁
《邊緣計算與人工智能應用開發技術》全套教學課件_第4頁
《邊緣計算與人工智能應用開發技術》全套教學課件_第5頁
已閱讀5頁,還剩638頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

邊緣計算與人工智能應用開發技術第1章邊緣計算與人工智能概述第2章邊緣計算與人工智能基本開發方法第3章邊緣計算與人工智能模型開發第4章邊緣計算與人工智能基礎應用開發案例第5章邊緣計算與人工智能綜合應用開發案例全套可編輯PPT課件第1章邊緣計算與人工智能概述邊緣計算與人工智能概述邊緣計算(EdgeComputing)是一種新興的計算模式,指將計算、存儲和網絡資源盡可能地靠近數據源和終端用戶,使得數據能夠在本地進行處理和分析,減少數據傳輸時延和網絡擁塞,提高應用的響應速度和效率。它是一種分布式計算模式,可以將計算和存儲功能從傳統的云端數據中心移動到數據生成的邊緣位置,即網絡的邊緣設備和傳感器,如手機、平板電腦、智能穿戴設備、智能家居設備、無人駕駛車輛、工業機器人等。邊緣計算的目標是提供低延遲、高帶寬、高可靠性、高安全性的計算服務,滿足越來越多的人工智能、物聯網、5G、工業自動化等應用場景的需求。邊緣計算和人工智能(ArtificialIntelligence,AI)是兩個相互關聯的概念,它們可以相互促進和增強。邊緣計算與人工智能概述

1.1.1邊緣計算概述

邊緣計算是一種將計算、數據存儲和應用服務推向接近數據源的邊緣設備的計算模型,以提供更低延遲、更高帶寬和更好的用戶體驗。它強調在離用戶和數據源更近的位置進行實時數據處理、分析和決策,減少對云計算的依賴。邊緣計算技術的核心思想是將數據和計算任務分配到不同的節點上,以實現更快速、更高效的數據處理。其主要組成部分包括邊緣設備、邊緣網關和邊緣服務。該技術適用于多個領域,如智能制造、智慧城市、智能醫療、智能交通等,用于實現工業物聯網、智能交通、智能能源管理等應用。邊緣計算與人工智能概述

1.1.2人工智能概述

人工智能(AI)是研究計算機模仿人類智能的學科,涵蓋了機器學習、深度學習、自然語言處理、計算機視覺和專家系統等技術領域。其目標是賦予計算機人類般的智能和學習能力,使其能理解、推理、決策和解決問題。人工智能廣泛應用于醫療、交通和金融等領域,利用大數據、增強的計算能力和先進算法不斷發展。然而,人工智能的發展也面臨著數據隱私、倫理道德和社會影響等挑戰。盡管如此,人工智能正不斷改變人類的生活和工作方式,為未來帶來更多便利和進步。邊緣計算與人工智能概述

1.1.3邊緣計算和人工智能結合

邊緣計算與人工智能結合可帶來以下優勢:降低延遲、隱私保護、離線支持、節約帶寬以及分布式學習。這種結合使人工智能應用能夠更快、更智能地處理數據,同時降低了對網絡的依賴,并促進了智能化創新和應用的發展。邊緣計算與人工智能概述

1.1.4邊緣計算與人工智能發展歷程

1.早期階段邊緣計算和人工智能的概念在不同的時間出現,但它們在早期并沒有明確的聯系。邊緣計算最早是在2009年由IBM提出的概念,旨在將計算和存儲資源盡可能地靠近數據源和用戶。而人工智能作為一個學科和研究領域已經存在了幾十年,其發展始于20世紀50年代。2.人工智能的云計算階段在人工智能的發展過程中,云計算起到了至關重要的作用。隨著云計算技術的成熟和普及,人工智能應用可以將數據傳輸到云端進行大規模的計算和訓練。這種模式下,云計算提供了強大的計算和存儲能力,但也存在延遲和數據隱私等問題。邊緣計算與人工智能概述

1.1.4邊緣計算與人工智能發展歷程

3.邊緣計算的興起隨著物聯網、智能設備和傳感器的快速發展,對實時性和低延遲的需求越來越高。邊緣計算應運而生,它將計算資源部署到靠近數據源和用戶的邊緣位置,以實現快速響應和實時決策。邊緣計算的興起為人工智能應用提供了更好的計算和處理環境。4.邊緣計算與人工智能的結合近年來,邊緣計算和人工智能開始相互融合。邊緣設備上的小型化、低功耗的計算資源使得它們可以承載一部分人工智能任務,例如圖像識別、語音識別、自然語言處理等。這種模式下,人工智能的推理和決策過程可以在邊緣設備上進行,減少了與云端的通信和延遲。5.分布式智能和邊緣智能邊緣計算和人工智能的結合還催生了分布式智能和邊緣智能的概念。邊緣設備可以共享本地數據和模型,進行聯合學習和模型更新,實現智能的協同工作。同時,邊緣設備上的智能模型可以不斷地學習和優化,提高其自身的智能水平。邊緣計算和人工智能的發展歷程經歷了從云計算到邊緣計算的轉變,邊緣計算提供了更接近數據源和用戶的計算和處理能力,為人工智能應用帶來了更低延遲、更高實時性、更好的隱私保護和離線支持。隨著分布式智能和邊緣智能的興起,邊緣計算和人工智能將進一步融合,為智能化的應用場景帶來更多創新和發展。邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

邊緣計算和人工智能的結合在許多領域中都具有廣泛的應用。以下是邊緣計算和人工智能在一些主要領域的應用示例:邊緣計算和人工智能可用于交通管理和智能交通系統。通過在邊緣設備上部署智能算法,可以實現實時的交通監測、車輛識別、交通流量優化和事故預測等功能。智能交通邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

智能交通(1)實時交通監測:邊緣設備可以通過攝像頭、傳感器等收集實時交通數據,如車流量、車速、擁堵情況等。這些數據可以在邊緣設備上進行實時處理和分析,以實現交通狀態的監測和預測。(2)車輛識別和行為分析:通過在邊緣設備上進行圖像識別和行為分析,可以實現車輛的自動識別、車型分類、車道偏移檢測等功能。這些數據可以用于交通流量統計、違章檢測和交通事故預測等應用。(3)交通信號優化:利用邊緣設備上的智能算法,可以對交通信號進行實時的優化調度。邊緣設備可以收集交通數據并進行實時的交通流分析,以確定最佳的信號控制策略,以優化交通流量、減少擁堵和改善交通效率。(4)事故預測和智能導航:通過在邊緣設備上進行數據分析和模式識別,可以實現交通事故的預測和智能導航系統。邊緣設備可以收集交通數據、天氣數據等,并利用人工智能算法來預測潛在的交通事故,并為駕駛員提供實時的導航建議。(5)自動駕駛和車聯網:邊緣計算和人工智能在自動駕駛和車聯網領域中也起著重要的作用。通過在邊緣設備上部署智能算法和模型,可以實現自動駕駛車輛的感知、決策和控制。同時,邊緣計算也可以實現車輛之間的通信和協作,提高交通安全和效率。這些應用使智能交通系統能夠實時監測交通狀態、優化交通流量、預測交通事故,并為駕駛員和交通管理部門提供實時的信息和決策支持。邊緣計算的優勢在于將智能計算和數據處理能力靠近交通源頭,減少了數據傳輸延遲,并提供了實時響應和決策能力。邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

2.工業自動化邊緣計算和人工智能的結合在工業自動化中具有重要應用。通過將智能算法和模型部署在邊緣設備上,可以實現實時的設備監測、故障診斷和預測性維護,提高生產效率和降低故障風險。邊緣計算和人工智能在工業自動化領域中具有重要的應用。以下是一些在工業自動化中應用邊緣計算和人工智能的示例:邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

2.工業自動化(1)實時設備監測:邊緣設備可以搭載傳感器和監測設備,用于實時監測工業設備的狀態和性能參數,如溫度、壓力、振動等。邊緣計算將數據收集和處理推向設備端,減少了數據傳輸延遲,并實現了實時監測和控制。(2)故障診斷和預測性維護:通過在邊緣設備上部署智能算法和模型,可以實現對工業設備的故障診斷和預測性維護。邊緣設備可以實時分析設備傳感器數據,并與預先訓練的模型進行比對,以檢測設備故障的跡象,并提前預測設備的維護需求。(3)生產過程優化:邊緣計算和人工智能可用于優化生產過程,提高生產效率和質量。通過在邊緣設備上進行實時的數據分析和算法推理,可以對生產過程進行監測和優化,實現實時的調度和控制。(4)質量控制和缺陷檢測:邊緣計算和人工智能可用于質量控制和缺陷檢測。通過在邊緣設備上進行圖像處理和模式識別,可以實現對產品質量的檢測和分類,以及對生產線上的缺陷進行實時識別和報警。(5)工人安全和人機協作:邊緣計算和人工智能在提升工人安全和人機協作方面也發揮重要作用。邊緣設備可以實時監測工作環境中的安全風險,并通過智能算法進行預警和控制。此外,邊緣計算還可以實現機器人和工人之間的實時協作和交互。這些應用使得工業自動化系統更加智能化、高效化和可靠化。邊緣計算將智能算法和模型推向設備端,實現了實時的數據分析和決策,降低了對云計算的依賴,并提供了更快的響應速度和更強的隱私保護。邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

3.智慧城市邊緣計算和人工智能在智慧城市領域中發揮重要作用。通過在邊緣設備上進行數據分析和決策,可以實現智能路燈控制、垃圾管理、環境監測、智能安防等功能,提升城市的可持續性和生活質量。邊緣計算和人工智能在智慧城市領域中具有廣泛的應用。以下是一些在智慧城市中應用邊緣計算和人工智能的示例:邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

3.智慧城市(1)智能路燈控制:邊緣設備可以通過感知環境和交通狀況的傳感器,實時控制路燈的亮度和開關。通過使用人工智能算法和數據分析,可以根據實時需求和節能目標來優化路燈的控制策略,提高能源利用效率。(2)垃圾管理:邊緣計算和人工智能可用于優化垃圾管理系統。通過在垃圾桶或垃圾箱上安裝傳感器和智能算法,可以實時監測垃圾容量,優化垃圾收集路線和時間,減少垃圾收集車輛的行駛距離和成本。(3)環境監測:邊緣設備可以配備各種傳感器,用于實時監測環境參數,如空氣質量、噪音水平、溫度等。通過將人工智能算法部署在邊緣設備上,可以對環境數據進行實時分析和預警,為城市居民提供健康和舒適的生活環境。(4)智能安防:邊緣計算和人工智能可用于智能安防系統。通過在邊緣設備上部署視頻監控和圖像識別算法,可以實現實時的視頻監控和異常行為檢測。邊緣設備可以自動識別和報警異常事件,提高城市安全性和警報響應效率。(5)公共服務優化:邊緣計算和人工智能可用于優化公共服務,如智能公交站點、智能停車管理和智能公共設施管理。通過在邊緣設備上進行數據分析和決策,可以提供個性化的公共服務,提升城市居民的生活質量。這些應用使智慧城市更加智能化、高效化和可持續化。邊緣計算將智能算法和決策推向設備端,實現了實時的數據處理和決策能力,降低了對云計算的依賴,并提供了更快的響應速度和更強的數據隱私保護。邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

4.醫療保健邊緣計算和人工智能的結合在醫療保健領域具有廣泛應用。通過在邊緣設備上進行實時的生物信號監測、健康數據分析和遠程醫療,可以實現個性化的醫療診斷、疾病預測和健康管理。邊緣計算和人工智能在醫療保健領域中具有廣泛的應用。以下是一些在醫療保健中應用邊緣計算和人工智能的示例:邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

4.醫療保健(1)遠程醫療:邊緣計算和人工智能可以用于遠程醫療服務。通過在邊緣設備上部署視頻通信和醫學圖像分析算法,可以實現遠程醫生和患者之間的實時交流和診斷。邊緣設備可以提供高質量的視頻傳輸和圖像分析,減少了對網絡帶寬的需求,并提供了實時的醫療服務。(2)健康監測與預警:邊緣設備配備傳感器和監測設備,可以實時監測患者的健康指標,如心率、血壓、血糖等。通過在邊緣設備上部署人工智能算法和模型,可以對患者的健康數據進行實時分析和預警,及時發現異常情況并提供相應的處理建議。(3)醫療圖像分析:邊緣計算和人工智能在醫學圖像分析方面有廣泛應用。通過在邊緣設備上進行醫學圖像處理和識別算法,可以實現對X射線、CT掃描、MRI等醫學影像的自動分析和診斷。邊緣設備可以減少圖像數據傳輸延遲,提供實時的圖像分析結果,有助于醫生做出快速準確的診斷。(4)智能藥物管理:邊緣計算和人工智能可用于智能藥物管理系統。通過在邊緣設備上部署智能算法和傳感器,可以對藥物的存儲、配送和用量進行實時監測和管理。邊緣設備可以提供準確的用藥提醒和用量控制,減少藥物錯誤使用和不良反應的發生。(5)疾病預測和預防:邊緣計算和人工智能可以用于疾病預測和預防。通過在邊緣設備上進行數據分析和模式識別,可以利用患者的健康數據和生活習慣來預測潛在疾病的風險,并提供個性化的預防措施和建議。這些應用使醫療保健更加智能化、個性化和可及性。邊緣計算將智能算法和模型推向醫療設備端,實現了實時的數據處理和決策能力,提供了更快速、準確和個性化的醫療服務。此外,邊緣計算還降低了對網絡帶寬和云計算的依賴,增加了數據隱私的保護。邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

5.零售業邊緣計算和人工智能可用于零售業的個性化營銷和供應鏈管理。通過在邊緣設備上進行實時的用戶行為分析和推薦算法,可以為消費者提供個性化的產品推薦和購物體驗。同時,邊緣計算還可以在實時庫存管理、物流優化和預測需求方面發揮作用。在零售業中,邊緣計算和人工智能有著廣泛的應用。以下是一些邊緣計算和人工智能在零售業中的應用領域:邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

5.零售業(1)個性化推薦:通過在邊緣設備上運行人工智能算法,零售商可以實時分析顧客的購買歷史、偏好和行為模式,并根據這些信息提供個性化的產品推薦。邊緣計算能夠處理海量的數據,快速生成推薦結果,提升顧客的購物體驗和銷售轉化率。(2)庫存管理:邊緣設備可以實時監測零售店鋪的庫存情況,并通過人工智能算法進行預測和優化。基于銷售數據和供應鏈信息,邊緣計算可以幫助零售商進行精準的庫存管理,避免庫存過剩或缺貨,提高運營效率和客戶滿意度。(3)智能支付:邊緣計算和人工智能可用于實現智能支付系統。通過在邊緣設備上部署人臉識別、指紋識別和聲紋識別等技術,可以實現安全、快速和無接觸的支付體驗。邊緣計算能夠處理本地支付交易,減少對云計算的依賴和支付延遲。(4)實時分析和預測:邊緣設備可以收集和分析實時的銷售數據、顧客行為和市場趨勢等信息。通過在邊緣設備上部署人工智能算法和機器學習模型,零售商可以進行實時的數據分析和預測,快速做出決策和調整銷售策略。(5)智能安防和防欺詐:邊緣計算和人工智能可用于零售店鋪的安防和欺詐檢測。通過在邊緣設備上部署視頻監控和圖像識別算法,可以實時監測店鋪內的安全情況和異常行為。邊緣計算可以自動識別和報警潛在的欺詐行為,提高安全性和保護零售業務的利益。這些應用使零售業更加智能化、高效化和個性化。邊緣計算將人工智能算法和決策推向設備端,實現了實時的數據處理和決策能力,降低了對云計算的依賴,并提供了更快的響應速度和更強的數據隱私保護。邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

6.農業邊緣計算和人工智能在農業領域中有廣泛的應用。通過在農田、溫室等邊緣設備上部署傳感器和智能算法,可以實現實時的土壤監測、作物生長預測、灌溉控制和病蟲害預警,提高農業生產的效率和可持續性。以下是一些邊緣計算和人工智能在農業中的應用領域:邊緣計算與人工智能概述

1.1.5邊緣計算與人工智能應用領域

6.農業(1)農作物監測和管理:通過在農田中部署傳感器和邊緣設備,可以實時監測土壤濕度、溫度、光照等環境指標,并利用人工智能算法分析和預測農作物的生長情況。邊緣計算可以提供農作物生長模型和決策支持,幫助農民優化灌溉、施肥和病蟲害管理,提高農作物的產量和質量。(2)智能灌溉系統:通過在邊緣設備上部署感知技術和人工智能算法,可以實現智能灌溉系統。邊緣設備可以實時監測土壤濕度、氣象條件和作物需水量,并根據數據進行智能決策和控制灌溉設備。這樣可以實現精確的灌溉,避免浪費水資源,提高水資源利用效率。(3)無人機農業:邊緣計算和人工智能在無人機農業中有著重要的應用。通過在邊緣設備上部署圖像識別和機器學習算法,無人機可以實時采集農田的圖像數據,并對作物生長、病蟲害和營養狀態進行分析和識別。這樣可以幫助農民及時發現問題并采取措施,提高農田管理的效果。(4)農產品質量檢測:邊緣設備可以在農田或農產品采摘時進行質量檢測。通過在邊緣設備上部署圖像處理和機器學習算法,可以實時分析農產品的外觀、大小、成熟度等特征,進行質量評估和分級。這樣可以提高農產品的市場競爭力和溯源能力。(5)預測和決策支持:邊緣計算和人工智能可以利用農業數據進行預測和決策支持。通過在邊緣設備上部署預測模型和決策算法,可以分析氣象數據、市場需求和供應鏈信息,預測農作物產量、市場價格和最佳銷售策略。這樣可以幫助農民制定合理的種植計劃和銷售策略,提高農業經濟效益。這些應用使農業更加智能化、高效化和可持續發展。邊緣計算和人工智能將決策和分析能力推向農田現場,實現實時的數據處理和決策能力,減少了對云計算的依賴,并提供了更快速的響應和更好的數據隱私保護。此外,邊緣計算和人工智能還可以應用于能源管理、金融服務、環境保護等多個領域。隨著技術的不斷發展和創新,邊緣計算和人工智能的應用領域將繼續擴展,并為各行各業帶來更多的智能化解決方案。1.1.6小結邊緣計算和人工智能是兩個相互關聯且互相促進的技術領域。邊緣計算強調將數據處理和決策推向離數據源更近的邊緣設備,以實現實時響應、降低延遲和減少對云計算的依賴。而人工智能則涉及機器學習、深度學習和自然語言處理等技術,使計算機能夠模仿人類智能、自動學習和自主決策。邊緣計算和人工智能的結合為許多領域帶來了巨大的創新和改進,如智能物聯網、智能城市、智能工廠、智能交通和智能農業等。它們的應用使得設備能夠實時處理大量的數據,并根據數據做出智能決策,從而提供更快速、更高效和更個性化的服務。邊緣計算通過將人工智能算法和模型部署在邊緣設備上,使得數據可以在本地進行處理和分析,減少了數據傳輸的開銷和延遲,并增強了數據隱私和安全性。同時,人工智能為邊緣計算提供了強大的分析能力和智能決策支持,使得邊緣設備能夠更好地理解和應對不同的場景和需求。綜上所述,邊緣計算和人工智能的結合為各個領域帶來了許多創新和改進的機會,推動了智能化和自動化的發展。隨著邊緣計算和人工智能技術的不斷演進和成熟,我們可以期待更多的應用場景和領域將從中受益,并為人們的生活和工作帶來更多的便利和效益。4.1.5思考與拓展

1.深度學習算法和百度人臉算法各有什么優缺點?

2.MobileFaceNet的人臉識別模型的主要特點?

3.簡單描述百度人臉開關門鎖的實現步驟?4.基于AiCam框架的開發流程是?第2章邊緣計算與人工智能基本開發方法第2章邊緣計算與人工智能基本開發方法本章結合AiCam開發平臺學習邊緣計算與人工智能基本開發方法,本章節內容包括:1、邊緣計算與人工智能框架,了解邊緣計算經典框架,結合AiCam開發平臺掌握人工智能開發平臺框架,掌握AiCam開發平臺特性、運行環境及開發流程以及典型應用案例,結合邊緣計算框架及AiCam平臺了解邊緣計算網關以及相關邊緣計算開發平臺。結合人臉識別案例,掌握在AiCam平臺實現邊緣計算應用的算法開發、模型開發、硬件開發、應用開發流程及開發驗證步驟。2、邊緣計算算法開發,掌握面向機器視覺應用的邊緣計算框架,結合AiCam應用框架掌握實時推理算法接口、單次推理算法接口設計,結合人臉識別案例掌握邊緣算法開發設計。3、邊緣計算硬件開發,掌握面向邊緣計算的智能物聯網平臺框架,結合智云物聯網平臺掌握應用開發框架的應用接口、通信協議以及開發工具,結合智慧產業套件項目案例掌握邊緣硬件的設計開發。4、邊緣計算應用開發,掌握面向機器視覺的邊緣應用開發邏輯框架,基于AiCam應用開發框架掌握人臉識別案例中實時推理、單次推理的邊緣視覺應用的開發設計,結合邊緣計算硬件平臺,掌握云、邊、端協同的人工智能邊緣計算應用開發過程。第二章目錄ContentsEducationSolutionsInternet+2.1邊緣計算與人工智能框架2.2邊緣計算算法開發2.3邊緣計算硬件開發2.4邊緣計算應用開發第二章邊緣計算與人工智能框架

2.1邊緣計算與人工智能框架2.1邊緣計算與人工智能框架邊緣計算是在靠近物或數據源頭的網絡邊緣側,融合網絡、計算、存儲、應用核心能力的分布式開放平臺,能夠就近提供邊緣智能服務;滿足敏捷聯接、實時業務、數據優化、應用智能、安全與隱私保護等方面的關鍵需求;作為聯接物理和數字世界的橋梁,能夠實現智能資產、智能網關、智能系統和智能服務。本節要求掌握的知識點如下:1、了解邊緣計算經典框架。2、掌握AiCam開發平臺運行環境及開發流程以及典型應用案例。3、結合邊緣計算框架及AiCam平臺了解邊緣計算網關以及相關邊緣計算開發平臺。4、結合人臉識別案例,掌握在AiCam平臺實現邊緣計算應用開發全流程。2.1目錄ContentsEducationSolutionsInternet+2.1.1 邊緣計算與人工智能開發平臺2.1.2 功能與核心源代碼設計案例2.1.3 開發步驟與驗證2.1.4 思考與拓展2.1.1邊緣計算與人工智能開發平臺

邊緣計算參考架構基于模型驅動的工程方法(Model-DrivenEngineeringMDE),將物理和數字世界的知識模型化,從而實現:物理世界和數字世界的協作、跨產業的生態協作、減少系統異構性,簡化跨平臺移植、有效支撐系統的全生命周期活動。參考框架,如圖2.1,在每層提供了模型化的開放接口,實現了架構的全層次開放。

邊緣計算經典框架2.1.1邊緣計算與人工智能開發平臺

從橫向看,智能服務基于模型驅動的統一服務框架,通過開發服務框架和部署運營服務框架實現開發與部署智能協同,實現軟件開發接口一致和部署運營自動化;智能業務編排通過模型化的工作流即業務Fabric,定義端到端業務流,實現業務敏捷;聯接計算實現架構極簡,對業務屏蔽邊緣智能分布式架構的復雜性;智能邊緣計算節點兼容多種異構聯接、支持實時處理與響應、提供軟硬一體化安全。從縱向看,通過管理服務、數據全生命周期服務、安全服務,實現業務的全流程、全生命周期的智能服務。圖2.1邊緣計算經典框架2.1.1邊緣計算與人工智能開發平臺

機器視覺與人工智能AiCam開發平臺是用于開發和部署與圖像識別、圖像分析和計算機視覺相關的人工智能應用的工具和框架。平臺提供了豐富的功能和庫,使開發者能夠構建高性能的機器學習和深度學習模型,從而實現自動化的圖像處理和視覺分析任務。人工智能開發平臺一般具有以下特點:(1)數據管理和預處理:提供用于處理和管理圖像數據的工具,以確保數據質量和一致性。(2)模型訓練和調優:提供強大的機器學習和深度學習框架,以支持圖像分類、目標檢測、語義分割等任務的模型訓練。提供預訓練的模型和經過驗證的網絡架構,以便開發者可以在其基礎上進行遷移學習和微調,從而加快模型開發和訓練的過程。(3)模型部署和推理:提供用于將訓練好的模型部署到生產環境中的工具和接口。這些平臺通常支持將模型部署為API或集成到現有應用程序中,并提供高性能的推理引擎,以便實時處理和分析圖像數據。(4)輔助工具和庫:提供各種輔助工具和庫,以簡化開發過程并提高開發效率。(5)可擴展性和靈活性:通常具有良好的可擴展性和靈活性,以適應不同規模和要求的項目。它們可以在本地計算機或云環境中運行,并支持并行計算和分布式訓練,以處理大規模的圖像數據和復雜的計算任務。2.1.1邊緣計算與人工智能開發平臺

AiCam開發平臺是面向人工智能開發的一套開發系統,如圖2.2所示,可以實現數字圖像處理、機器視覺應用、邊緣計算應用,內置了AiCam核心引擎集成了算法、模型、硬件、應用輕量級開發框架,能夠快速集成和開發更多的項目案例。 AiCam開發平臺圖2.2AiCam開發平臺2.1.1邊緣計算與人工智能開發平臺

1.運行環境AiCam人工智能開發平臺采用BS架構,如圖2.3所示,通過瀏覽器即可運行項目,人工智能算法模型和算法通過邊緣本地云服務的方式為應用提供交互接口,軟件平臺可部署到各種邊緣端設備運行,包括:GPU服務器/電腦、CPU服務器/電腦、ARM開發板(aarch64架構)、百度EdgeBorad開發板(FZ3、FZ5、FZ9)、英偉達Jetson開發板等。圖2.3AiCam開發平臺組成2.1.1邊緣計算與人工智能開發平臺2. 主要特性AiCam人工智能輕量化應用框架主要特性如下:多平臺邊緣端部署支持x86、ARM、GPU、FPGA、MLU等異構計算環境部署和離線計算推理,實現多樣化的邊緣項目應用需求。實時視頻推送分析支持本地攝像頭、網絡攝像頭接入,實時的視頻推流服務,通過WebHTTP接口快速預覽和訪問。統一模型調用接口不同算法框架采用統一的模型調用接口,開發者可以輕松切換不同的算法模型,進行模型驗證。統一硬件控制接口接入物聯網云平臺,不同硬件資源采用統一的硬件控制接口,屏蔽底層硬件的差異,方便開發者接入不同的控制設備。清晰簡明應用接口基于Web的RESTful調用接口,快速進行模型算法的調用,并實時返回分析的視頻結果和數據。2.1.1邊緣計算與人工智能開發平臺3. 開發流程AiCam核心引擎集成了算法、模型、硬件、應用輕量級開發框架,應用邏輯、工程結構、開發流程如圖2.4所示:攝像頭websocketAiCam框架http://gwip:4001/stream/algorithm_name?camera_id=0返回base64編碼的圖片和結果數據視頻推流算法調度邊緣推理Flask服務應用物聯網云平臺ZCloudAPI物聯網硬件設備圖2.4AiCam人工智能開發平臺開發流程2.1.1邊緣計算與人工智能開發平臺AiCam人工智能開發平臺詳細的功能架構和構成如圖2.5所示。圖2.5AiCam人工智能開發平臺功能架構2.1.1邊緣計算與人工智能開發平臺4. 主程序aicam

主程序aicam.py核心源代碼如下:#獲取當前工程根目錄basedir=os.path.abspath(os.path.dirname(__file__))#全局參數__app=Flask(__name__,static_folder="static",template_folder='templates')#cross-domainCORS(__app,supports_credentials=True)#進入首頁路由@__app.route('/’)defindex():returnrender_template('index.html')#設置icon圖標@__app.route('/favicon.ico')deffavicon():returnsend_from_directory(os.path.join(__app.root_path,'static'),'favicon.ico',mimetype='image/vnd.microsoft.icon')2.1.1邊緣計算與人工智能開發平臺classStream:def__init__(self,cd):print("INFO:Streamcreate.")self.cd=cddef__iter__(self):returnself

def__next__(self):returnself.cd()

def__del__(self):print("INFO:Streamdelete.")

@__app.route('/ptz/preset',methods=["POST"])defptzPreset():ifrequest.method=='OPTIONS':res=Response()res.headers['Access-Control-Allow-Origin']='*'res.headers['Access-Control-Allow-Method']='*'res.headers['Access-Control-Allow-Headers']='*'returnresdat=request.stream.read()cmd=392.1.1邊緣計算與人工智能開發平臺

param=1iflen(dat)>0:jo=json.loads(dat)cmd=jo['cmd']param=jo['param']camera=Nonecamera_id=request.values.get("camera_id")ifcamera_id!=None:camera_id=camera_id.strip()camera=cam.getCamera(camera_id)else:camera_url=request.values.get("camera_url")ifcamera_url!=None:camera=cam.loadCamera(camera_url)ifcamera!=None:presetPtz=getattr(camera,"presetPtz",None)ifpresetPtzisnotNone:presetPtz(cmd,param)

res=Response()res.headers['Access-Control-Allow-Origin']='*'res.headers['Access-Control-Allow-Method']='*'res.headers['Access-Control-Allow-Headers']='*'returnres打開工程文件查看更多2.1.1邊緣計算與人工智能開發平臺

1.AiCam構成利用AiCam人工智能開發平臺能夠方便快捷的開展深度學習領域的教學、競賽和科研工作,從最基礎的OpenCV視覺算法、模型訓練到部署到邊緣設備應用都進行了全棧式的封裝,降低了開發難度,如圖2.6所示。

開發資源圖2.6人工智能開發平臺應用框架2.1.1邊緣計算與人工智能開發平臺包括以下應用:圖像處理:基于OpenCV開發的數字圖像處理算法案例。圖像應用:基于OpenCV開發的圖像應用案例:深度學習:基于深度學習技術開發的圖像識別、圖像檢測應用案例。視覺云應用:基于百度云接口開發的圖像識別、圖像檢測、語音識別、語音合成應用案例。邊緣智能:結合硬件場景的邊緣計算應用案例。綜合案例:結合行業軟硬件應用場景的邊緣計算應用案例。2.算法列表AiCam人工智能開發平臺的機器視覺算法,通過實驗例程的方式平臺中,每個算法都開放源代碼并提供了單元測試,包括了圖像基礎算法,圖像基礎應用、深度學習應用和百度云邊應用,如表2.1~2.4所示。2.1.1邊緣計算與人工智能開發平臺

表2.1圖像基礎算法(略)類別接口名稱接口描述圖像采集image_capture實時視頻流采集和輸出圖像標記image_lines_and_rectangles繪制直線和矩形image_circle_and_ellipse繪制圓和橢圓image_polygon繪制多邊形image_display_text顯示文字圖像轉換image_gray灰度實驗image_simple_binary二值化image_adaptive_binary自適應二值化實驗圖像變換image_rotation圖像旋轉image_mirroring圖像鏡像旋轉實驗image_resize圖像縮放實驗image_perspective_transform圖像透視變換圖像邊緣檢測image_edge_detection圖像邊緣檢測實驗形態學變換image_eroch腐蝕image_dilate膨脹image_opening開運算image_closinig閉運算2.1.1邊緣計算與人工智能開發平臺

表2.2圖像基礎應用類別接口名稱接口描述顏色識別image_color_recognition識別目標的顏色形狀識別image_shape_recognition識別目標的形狀數字識別image_mnist_recognition識別手寫數字二維碼識別image_qrcode_recognition識別二維碼內容人臉檢測image_face_detection利用Dlib庫的人臉檢測算法人臉關鍵點image_key_detection利用Dlib庫的人臉關鍵點檢測算法人臉識別image_face_recognition基于haar人臉特征分類器進行人臉識別目標追蹤image_motion_tracking對移動目標進行跟蹤標注2.1.1邊緣計算與人工智能開發平臺

表2.3深度學習應用類別接口名稱接口描述人臉檢測face_detection人臉檢測模型及算法人臉識別face_recognition人臉識別模型及算法人臉屬性face_attr多種人臉屬性信息:年齡、性別、表情等手勢識別handpose_detection識別人體手部的主要關鍵點口罩檢測mask_detection檢測是否佩帶口罩人體姿態personpose_detection識別人體的21個主要關鍵點車輛檢測car_detection識別ROS智能小車車牌識別plate_recognition識別車牌號碼行人檢測person_detection識別行人并標記交通標志traffic_detection識別各種交通標志2.1.1邊緣計算與人工智能開發平臺

表2.4百度云邊應用類別接口名稱接口描述人臉識別baidu_face_recognition人臉注冊及識別人體識別baidu_body_attr人體檢測與屬性識別算法車輛檢測baidu_vehicle_detect車輛屬性及檢測算法手勢識別baidu_gesture_recognition手勢識別算法數字識別baidu_numbers_detect數字識別算法文字識別baidu_general_characters_recognition通用文字識別算法語音識別baidu_speech_recognition百度短語音識別標準版應用語音合成baidu_speech_synthesis百度語音合成服務應用2.1.1邊緣計算與人工智能開發平臺

1.GW3588邊緣計算網關

GW3588邊緣計算網關采用全新商業產品級一體機外觀設計,AI最強嵌入式邊緣計算處理器RK3588,8核Cortex-A76&A55,4核Mali-G610GPU,6T算力NPU,16G+128G內存配置,15.6寸高清電容屏,運行ubuntu、android多操作系統,能夠完成人工智能機器視覺、語音語言、邊緣計算、綜合項目等課程的教學和實踐。

邊緣計算網關提供豐富的外設接口,方便開發調試,以下是邊緣計算網關內部和外設接口示意圖:

相關邊緣計算硬件開發平臺圖2.7邊緣計算網關內部和外設接口示意圖2.1.1邊緣計算與人工智能開發平臺

邊緣計算網關提供拓展模塊,可完成視覺、語言、感覺、控制等AI知識點學習和項目開發,供合理選型和搭配。為深化無線傳感網絡中對無線節點時使用,書中項目的實例部分需要使用到傳感器和控制設備。其中涉及了xLab開發平臺,該平臺按照傳感器類別設計了豐富的傳感設備,包括有:采集類、控制類、安防類、顯示類、識別類等。2.采集類協開發平臺(Sensor-A)采集類協開發平臺(Sensor-A)包括:溫濕度傳感器、光強傳感器、空氣質量傳感器、氣壓高度傳感器、三軸傳感器、距離傳感器、繼電器、語音識別傳感器等傳感器,如圖2.8所示。圖2.8采集類開發平臺2.1.1邊緣計算與人工智能開發平臺

3.控制類協開發平臺(Sensor-B)控制類開發平臺(Sensor-B)包括:風扇、步進電機、蜂鳴器、LED、RGB、繼電器設備,如圖2.9所示。圖2.9控制類開發平臺2.1.1邊緣計算與人工智能開發平臺

4.安防類協開發平臺(Sensor-C)安防類協開發平臺(Sensor-C)包括:火焰傳感器、光柵傳感器、人體紅外傳感器、燃氣傳感器、觸摸傳感器、振動傳感器、霍爾傳感器、繼電器、語音合成傳感器等傳感器,如圖2.10所示。圖2.10安防類開發平臺2.1.1邊緣計算與人工智能開發平臺

5.顯示類傳感器(Sensor-D)圖2.11顯示類傳感器Sensor-D2.1.1邊緣計算與人工智能開發平臺

6.125K&13.56M二合一模塊傳感器(Sensor-EL)125K&13.56M二合一模塊(Sensor-EL)包括有:RFID、繼電器、OLED顯示屏、傳感器端子,如圖2.12所示。圖2.12125K&13.56M二合一模塊(Sensor-EL)2.1.1邊緣計算與人工智能開發平臺

7.900M&ETC模塊傳感器(Sensor-EH)900M&ETC模塊(Sensor-EH)包括有:RFID、ETC欄桿、調試接口、傳感器端子。圖2.13900M&ETC模塊(Sensor-EH)2.1.2功能與核心源代碼設計案例

人工智能開發平臺能夠完成基于邊緣計算應用的算法開發、模型開發、硬件開發、應用開發,開發例程通過瀏覽器即可以在電腦端運行。項目示例如下:##########################################################################################文件:image_face_recognition.py#########################################################################################importglobimportface_recognitionimportosimportsysimportcv2ascvimportnumpyasnpimportbase64importjson

classImageFaceRecognition(object):def__init__(self,dir_path="algorithm/image_face_recognition"):#讀取注冊的人臉特征npy文件self.dir_path=dir_pathfeature_path=os.path.join(dir_path,"*.npy")feature_files=glob.glob(feature_path)2.1.2功能與核心源代碼設計案例

#解析文件名稱,作為注冊人姓名

self.feature_names=[item.split(os.sep)[-1].replace(".npy","")foriteminfeature_files]#print(feature_names)self.face_cascade=cv.CascadeClassifier(dir_path+"/haarcascade_frontalface_alt.xml")self.features=[]forfinfeature_files:feature=np.load(f)self.features.append(feature)

defimage_to_base64(self,img):image=cv.imencode('.jpg',img,[cv.IMWRITE_JPEG_QUALITY,60])[1]image_encode=base64.b64encode(image).decode()returnimage_encode

打開工程文件查看更多2.1.3開發步驟與驗證

工程運行(1)在SSH終端輸入以下命令運行項目工程:$cd~/aicam$chmod755start_aicam.sh$condaactivatepy36_tf114_torch15_cpu_cv345//PCubuntu20.04環境下需要切換環境$./start_aicam.sh2.1.3開發步驟與驗證開始運行腳本*ServingFlaskapp"start_aicam"(lazyloading)*Environment:productionWARNING:Donotusethedevelopmentserverinaproductionenvironment.UseaproductionWSGIserverinstead.*Debugmode:off*Runningon:4000/(PressCTRL+Ctoquit)(2)在電腦端或者邊緣計算網關端打開chrome瀏覽器,輸入項目頁面地址并訪問:00:1443,即可查看項目內容。2.1.4思考與拓展

1.當應用的視頻區無畫面,請在SSH終端按下組合鍵“Ctrl+C”退出程序,檢查攝像頭是否正確插入到USB3.0接口,然后再重新啟動應用測試。2.當出現畫面卡頓,SSH終端出現“selecttimeout”錯誤信息時,請在SSH終端按下組合鍵“Ctrl+C”退出程序,重新插拔攝像頭到USB3.0接口,然后再重新啟動應用測試。第二章邊緣計算與人工智能框架

2.2邊緣計算算法開發2.2邊緣計算算法開發在邊緣計算中,算法的設計和實施通常需要考慮到資源受限的環境,例如邊緣設備的有限存儲容量、計算能力和能源,這些特點使其適應邊緣環境的資源限制和實時需求。以下是一些邊緣計算算法的特點:低計算復雜度:邊緣計算算法通常需要具有較低的計算復雜度,以確保在資源受限的環境中能夠高效執行。輕量級和緊湊:由于資源受限,算法需要輕量緊湊實時性:需要快速處理數據并做出實時決策本地決策:減少對云端的依賴適應性:根據環境動態變化調整本節要求掌握的知識點如下:掌握面向機器視覺應用的邊緣計算框架。結合AiCam應用框架掌握實時推理算法接口、單次推理算法接口設計。結合人臉識別案例掌握邊緣算法開發設計。2.2目錄ContentsEducationSolutionsInternet+2.2.1 原理分析與開發設計2.2.2 小結2.2.3 開發步驟與驗證2.2.1原理分析與開發設計

邊緣計算作為一種新興的計算模式可以有效應對機器視覺應用領域的低時延、高帶寬需求,其基本理念是在網絡邊緣提供計算服務,把傳統云計算資源遷移到網絡邊緣,更加貼近數據源,從而擁有更快的響應速度和交互能力。邊緣計算具有協同、開放、彈性的計算模式,可以實現邊緣計算與云計算、邊緣計算節點的互相協同;同時實現計算和存儲等資源以服務的形式開發給用戶和應用開發者;能夠根據業務增加的規模和需求,靈活調用和配置邊緣節點,實現自動化快速部署。

面向機器視覺應用的邊緣計算框架2.2.1原理分析與開發設計

邊緣視覺處理平臺框架如圖,主要承載圖像處理處理功能,包括視頻編解碼、視頻圖像增強、視頻圖像內容分析、視頻圖像檢索等,實現對視頻圖像中的人員、車輛、物體等對象的特征、行為、數量、質量等進行檢測或識別判斷,并提高視頻圖像整體或視頻圖像中特定部分的清晰度、對比度等質量指標。

圖2.19邊緣視覺處理平臺框架2.2.1原理分析與開發設計

AiCam應用開發框架如圖2.20所示。本項目采用了AiCam人工智能輕量化應用框架。AiCam為模型算法的調用提供RESTful調用接口,實時返回分析的視頻結果和數據,同時通過物聯網云平臺的應用接口,實現與硬件的連接和互動,最終實現各種應用。

算法接口1.架構設計應用攝像頭websocketAiCam框架http://gwip:4001/stream/algorithm_name?camera_id=0實時推理:返回base64編碼的圖片和結果流數據視頻推流算法調度邊緣推理Flask服務json數據返回單次推理:ajax(/file/algorithm_name,POST,jsondata)應用物聯網云平臺ZCloudAPI物聯網硬件設備2.2.1原理分析與開發設計

2.實時推理AiCam框架的實時推理接口主要實現了視頻流的實時Ai推理計算,攝像頭采集到的視頻圖像通過算法實時計算,將返回的計算結果圖片(比如框出目標位置和識別內容的圖片)實時推流到應用端以視頻的方式顯示,同時計算的結果數據(比如目標坐標、目標關鍵點、目標名稱、推理時間、置信度等)返回到應用端用于業務的處理。算法的詳細邏輯如下:1)AiCam打開邊緣計算網關的攝像頭,獲取實時視頻圖像。2)將實時視頻圖像推送給算法接口的inference方法。3)算法inference方法進行圖像處理,或調用模型進行圖像推理。4)算法inference方法返回base64編碼的結果圖像、結果數據。5)AiCam核心框架將返回的結果圖像和結果數據拼接為text/event-stream流數據供應用調用。6)應用層通過EventSource接口獲取實時推送的算法流數據(結果圖像和結果數據)。7)應用層解析流數據,提取出結果圖像和結果數據進行應用展示。2.2.1原理分析與開發設計

3.單次推理AiCam框架的單次推理接口主要實現了應用層業務需要的單次推理計算請求,應用層將需要計算的圖片及配置參數通過ajax接口傳遞給算法層,算法根據參數進行圖片的推理計算,返回計算結果圖片(比如框出目標位置和識別內容的圖片)和計算結果數據(比如目標坐標、目標關鍵點、目標名稱、推理時間、置信度等),以供應用層進行應用展示。詳細內容如下:1)應用層截取需要Ai計算的圖片,并轉換為blob格式。2)應用層將參數(比如人臉注冊應用的人臉名稱、操作類型:注冊人臉/刪除人臉等)以json格式封裝。3)將圖片和參數以formData表單數據通過ajax請求傳遞給算法層。4)算法層inference方法收到應用傳遞過來的圖片數據和參數數據,調用模型進行圖像推理。5)算法inference方法返回base64編碼的結果圖像(比如框出目標位置和識別內容的圖片)和計算結果數據(比如目標坐標、目標關鍵點、目標名稱、推理時間、置信度等)。6)AiCam核心框架將算法處理的結果圖像和結果數據通過ajax返回。7)應用層解析返回數據,提取出結果圖像和結果數據進行應用展示。2.2.1原理分析與開發設計

人臉注冊通過單次推理接口調用算法實現人臉的注冊功能,應用層將需要注冊的人臉圖片和參數(所需要注冊的人名,處理類別:注冊)通過ajax接口傳遞給算法,算法文件內相關代碼如下(algorithm\image_face_recognition\image_face_recognition.py):算法inference方法通過傳遞過來的參數param_data是否為非None來判斷是否為單次推理(實時推理為None,單次推理為非None)。邊緣算法設計1.人臉注冊2.人臉比對

人臉比對通過實時推理接口調用算法實現人臉的比對功能,應用層通過EventSource接口調用算法接口獲取流數據。3.單元測試算法文件內提供單元測試代碼,通過傳參0:人臉注冊、1:人臉比對打開工程文件查看更多2.2.2小結

本節學習了基于MDE設計的邊緣計算參考框架、結合項目體驗案例學習了應用于機器視覺領域的邊緣視覺框架結構,了解了基于邊緣計算應用的算法實驗、模型實驗、硬件實驗以及應用實驗,學習了基于邊緣計算應用項目的開發及驗證步驟。2.2.3開發步驟與驗證

(1)為人工智能邊緣計算應用平臺GW3588連接Wi-Fi天線、攝像頭。(2)啟動人工智能邊緣計算平臺,連接局域網內的Wi-Fi網絡,記錄平臺的IP地址,例如:00。項目部署1.硬件部署2.工程部署(1)運行MobaXterm工具,通過SSH登錄到人工智能邊緣計算網關。(2)在SSH終端創建項目工作目錄:

$mkdir-p~/aiedge-exp(3)通過SSH將本項目工程源代碼上傳到~/aicam-exp目錄下,并采用unzip命令進行解壓。$cd~/aiedge-exp$unzipimage_face_recognition.zip2.2.3開發步驟與驗證

1)在SSH終端輸入以下命令運行算法進行人臉注冊單元測試,本項目將會讀取測試圖片,提交給算法接口進行人臉注冊,并返回注冊結果信息:$cd~/aiedge-exp/image_face_recognition$condaactivatepy36_tf114_torch15_cpu_cv345//PCubuntu20.04環境下需要切換環境$python3image_face_recognition.py0已保存人臉{'result_data':None,'msg':'注冊成功!','code':200,'result_image':None,'origin_image':None}2)在算法文件夾下可以看到生成了lilianjie.npy人臉特征文件。算法測試1.人臉注冊2.2.3開發步驟與驗證

在SSH終端輸入以下命令運行算法進行人臉比對單元測試,本項目將會讀取測試圖片,提交給算法接口進行人臉比對,比對完成后將結果圖片在視窗顯示,并返回比對結果信息:$cd~/aiedge-exp/image_face_recognition$condaactivatepy36_tf114_torch15_cpu_cv345//PCubuntu20.04環境下需要切換環境$python3image_face_recognition.py1{'msg':None,'result_image':'/9j/4AAQSkZJRgABAQAAAQABAAD//9k=','result_data':'lilianjie','origin_image':None,'code':200}2.人臉比對圖2.21人臉比對單元測試第2章邊緣計算與人工智能框架

2.3邊緣計算硬件開發2.3邊緣計算硬件開發邊緣計算硬件的設計需要平衡性能、功耗、實時性和安全性等多個方面的要求,以適應邊緣計算應用的多樣性和特殊性。以下是邊緣計算硬件開發的特點:低功耗設計:延長設備的電池壽命。小尺寸和輕量化:以適應各種應用場景。實時性能:能夠快速響應和處理傳感器數據。本地存儲和緩存:減少對云端的依賴,提高性能和降低延遲。多模塊設計:以方便擴展和定制。安全硬件模塊:用于加密、身份驗證和其他安全功能。通信接口:適應不同的通信需求。本節要求掌握的知識點如下:掌握面向邊緣計算的智能物聯網平臺框架。結合智云物聯網平臺掌握應用開發框架的應用接口、通信協議以及開發工具。結合智慧產業套件項目案例掌握邊緣硬件的設計開發。2.3目錄ContentsEducationSolutionsInternet+2.3.1 原理分析與開發設計2.3.2 開發步驟與驗證2.3.3 小結2.3.4 思考與拓展2.3.1原理分析與開發設計

物聯網利用有線/無線等方式,實現人與物、物與物進行數字化連接,物聯網的網聯化和智能化,能夠釋放物聯網底層能量,開拓創新應用空間。傳統的物聯網系統包括感知層、網絡層、平臺層、應用層四個部分組成,智能物聯網搭載人工智能擴大了應用邊界,實現從連接萬物到喚醒萬物、從中心化到端邊云協同、從技術革新到產業革命、從物聯網思維到智聯網思維。

面向邊緣計算的智能物聯網平臺框架2.3.1原理分析與開發設計

智能物聯網技術對傳統物聯網平臺提出了新要求,如圖2.22。支撐更細顆粒度的應用場景落地、挖掘海量異構數據價值,成為智能物聯網的核心。特別是對于數據流傳過程中,對于數據形態和中間過程的需求,不僅只停留在數據分析層面,而是需要基于多模數據交互催生新的應用場景。2.3.1原理分析與開發設計

AiCam人工智能輕量化應用框架能夠接入海量的物聯網硬件,通過智云物聯網平臺實現對物聯網硬件的交互。智云物聯網平臺承擔平臺層的數據中樞智能,同時也為感知層、網絡層、應用層提供軟硬件平臺和項目案例支撐,如圖2.23所示。圖2.23AiCam人工智能輕量化應用框架2.3.1原理分析與開發設計

一個基本的智云物聯網項目系統模型如圖2.24所示。

項目模型2.3.1原理分析與開發設計

1)各種智能設備通過ZigBee、BLE、Wi-Fi、NB-IoT、LoRa、LTE等無線傳感網絡聯系在一起,其中協調器/匯集器節點作為整個網絡的匯集中心。2)協調器/匯集器與智云網關進行交互,通過智云網關上運行的服務程序,實現傳感網與互聯網的數據交換,將數據推送給智云平臺中心,也支持數據推送到本地局域網。3)智云數據中心提供數據存儲、數據推送、數據決策、攝像監控等服務等應用接口,本地服務僅支持數據推送服務。4)物聯網應用項目通過智云API進行具體應用的開發,能夠實現對傳感網內節點進行采集、控制、決策等。2.3.1原理分析與開發設計

智云平臺提供五大應用接口供開發者使用,包括:實時連接(WSNRTConnect)、歷史數據(WSNHistory)、攝像監控(WSNCamera)、自動控制(WSNAutoctrl)、用戶數據(WSNProperty),詳細邏輯如圖2.25所示。

應用接口1.應用框架CC2530ZigBee協議棧CC2540藍牙BLE協議棧

CC3200Wi-Fi協議棧

SX1278LoRa協議棧N71NB-IoT協議棧ZXBeeSensorHALInterfaceZCloudGWServiceZCloudDataCenterWSNRTConnectWSNHistoryWSNCameraWSNAutoctrlWSNPropertyZCloudApplicationInterface圖2.25智云平臺應用接口邏輯圖2.3.1原理分析與開發設計

針對Web應用開發,智云平臺提供JavaScript接口庫,用戶直接調用相應的接口即可完成簡單Web應用的開發。以下重點介紹實時連接、歷史數據接口。實時連接接口基于WebJavaScript的接口如表2.10所示。2.接口說明表2.10基于WebJavaScript的接口函數參數說明功能newWSNRTConnect(ID,Key);ID:智云賬號Key:智云密鑰建立實時數據實例,并初始化智云ID及密鑰connect()無建立實時數據服務連接disconnect()無斷開實時數據服務連接onConnect()無監聽連接智云服務成功onConnectLost()無監聽連接智云服務失敗onMessageArrive(mac,dat)mac:傳感器的MAC地址dat:發送的消息內容監聽收到的數據sendMessage(mac,dat)mac:傳感器的MAC地址dat:發送的消息內容發送消息setServerAddr(sa)sa:數據中心服務器地址及端口設置/改變數據中心服務器地址及端口號2.3.1原理分析與開發設計

歷史數據接口基于WebJavaScript的接口如表2.11所示。函數參數說明功能newWSNHistory(ID,Key);ID:智云賬號Key:智云密鑰初始化歷史數據對象,并初始化智云ID及密鑰queryLast1H(ch,cal);ch:傳感器數據通道cal:回調函數(處理歷史數據)查詢最近1小時的歷史數據queryLast6H(ch,cal);ch:傳感器數據通道cal:回調函數(處理歷史數據)查詢最近6小時的歷史數據queryLast12H(ch,cal);ch:傳感器數據通道cal:回調函數(處理歷史數據)查詢最近12小時的歷史數據queryLast1D(ch,cal);ch:傳感器數據通道cal:回調函數(處理歷史數據)查詢最近1天的歷史數據queryLast5D(ch,cal);ch:傳感器數據通道cal:回調函數(處理歷史數據)查詢最近5天的歷史數據queryLast14D(ch,cal);ch:傳感器數據通道cal:回調函數(處理歷史數據)查詢最近14天的歷史數據表2.11 基于WebJavaScript的接口(略)2.3.1原理分析與開發設計

通信協議1.協議說明智云平臺支持物聯網無線傳感網數據的接入,并定義了物聯網數據通信的規范。智云平臺采用輕量級的ZXBee通信協議,它采用json數據格式,更加清晰易懂。ZXBee數據通信協議對物聯網整個項目從底層到上層的數據段作出了定義,該協議有以下特點:數據格式的語法簡單,語義清晰,參數少而精;參數命名合乎邏輯,見名知義,變量和命令的分工明確;參數讀寫權限分配合理,可以有效抵抗不合理的操作,能夠在最大程度上確保數據安全;變量能對值進行查詢,可以方便應用程序調試;命令是對位進行操作,能夠避免內存資源浪費。2.3.1原理分析與開發設計

2.協議詳解1)通信協議數據格式通信協議數據格式:{[參數]=[值],{[參數]=[值],……}A.每條數據以“{}”作為起始字符;B.“{}”內參數多個條目以“,”分隔;C.示例:{CD0=1,D0=?}注:通信協議數據格式中的字符均為英文半角符號。2.3.1原理分析與開發設計

2.協議詳解(2)通信協議參數說明通信協議參數說明如下:A.參數名稱定義為:a)變量:A0~A7、D0、D1、V0~V3;b)命令:CD0、OD0、CD1、OD1;c)特殊參數:ECHO、TYPE、PN、PANID、CHANNEL。B.變量可以對值進行查詢,示例:{A0=?}C.變量A0~A7在物聯網云數據中心可以存儲保存為歷史數據;D.命令是對位進行操作。2.3.1原理分析與開發設計

具體參數解釋如下:A0~A7:用于傳遞傳感器數值或者攜帶的信息量,權限為只能通過賦值“?”來進行

查詢當前變量的數值,支持上傳到物聯網云數據中心存儲D0:D0的Bit0~Bit7分別對應A0~A7的狀態(是否主動上傳狀態),權限為只能通

過賦值“?”來進行查詢當前變量的數值,0表示禁止上傳,1表示允許主動上傳CD0/OD0:對D0的位進行操作,CD0表示位清零操作,OD0表示位置一操作D1:D1表示控制編碼,權限為只能通過賦值“?”來進行查詢當前變量的數值,用戶

根據傳感器屬性來自定義功能CD1/OD1:對D1的位進行操作,CD1表示位清零操作,OD1表示位置一操作。V0~V3:用于表示傳感器的參數,用戶根據傳感器屬性自定義功能,權限為可讀寫2.3.1原理分析與開發設計

ECHO:用于檢測節點在線的指令,將發送的值進行回顯TYPE:表示節點類型,該信息包含了節點類別、節點類型、節點名稱,權限為只能通過賦值“?”來進行查詢當前值。TYPE的值由5個ascii字節表示PN:表示節點的上行節點地址信息和所有鄰居節點地址信息,權限為只能通過賦值“?”來進行查詢當前值PN的值為上行節點地址和所有鄰居節點地址的組合。其中每4個字節表示一個節點地址后4位,第一個4字節表示該節點上行節點后4位,第2-n個4字節表示其所有鄰居節點地址后4位。2.3.1原理分析與開發設計

3.協議定義開發平臺傳感器的ZXBee通信協議參數定義可以如表2.12所示。節點名稱TYPE參數屬性權限說明采集類Sensor-A601A0溫度R溫度值,浮點型:0.1精度,-40.0~105.0,單位:

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論