1基于邊緣計算的機器視覺第3部分：技術要求本文件規定了基于邊緣計算的機器視覺的技術要求，包括功能框架、邊緣側功能、云硬件性能、網絡、接口、系統功能要求等。測試。僅該日期對應的版本適用于本文件不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T9813.3-2017計算機通用規范第3部分：服務器GB/T28181-2016公共安全鎖會拼監控聯網系統信息傳輸、交換、控制技術要求GB/T15412-2017應用電視攝像機云臺通用規范GB/T30147-2013安防監控視頻實時智能分析設備技術要求GB/T30269.901-2016信息技術傳感器網絡第901部分：網關：通用技術要求CUVA006-20205G超高清監控攝像機通用技術規范T/CMWU001-2020工業數字相機定義下列術語和定義適用于本文件。使用機器替代人眼實現檢測，測量，識別在靠近物或數據源頭的一側，采用網絡、計算、存儲或應用核心能力為一體的開放平臺由圖像傳感器、輔助電子器件和標準鏡頭座組成，將光信號接收端，適用于工業應用的一體式設備QoS:服務質量(QualityofService)3云管理平臺云管理平臺協同管理視頻圖像存儲管理算法管理邊緣視覺平臺視頻編解碼工業數字相機視頻圖像處理與分析視頻邊緣計算硬件智能攝像機智能視頻網關網絡智能視頻服務器圖1基于邊緣計算的機器視覺系統通用架構圖6邊緣側功能要求6.1視頻邊緣計算硬件視頻邊緣計算硬件通常是提供進入邊緣網絡的入口點的設備或硬件，智能視頻處理設備包括智能視頻服務器、智能視頻網關，視頻采集設備包括智能攝像機、工業數字相機等多種硬件形態。6.1.2智能視頻服務器智能視頻服務器，是面向機器視覺場景的邊緣側AI處理設備，具備網絡服務器基礎功能外，應嵌入智能網絡攝像機的智能功能，還可相應嵌入較復雜軟件及AI算法等智能功能，如用于商業等應用的人群注意力及擁堵程度的識別用于公共場所的人與物異常行為識別以及用于預防各種災害的水災、火災、地震等的識別等。這樣，僅有通過移動偵測、人與物異常識別以及天災人禍識別等各種智能功能的預/報警觸發的視頻數據，才會被傳送到中央監控站，以用于進行進一步地分析，并采取進一步的響應，或可使用更為復雜的智能分析應用，以降低網絡設備的負載并減少人為錯誤智能視頻服務器，服務器能力要求采用符合GB/T9813.3-2017要求的功能外，智能視頻的功能要求可參考支持如下功能：a)宜支持多路視頻同時顯示：b)可支持不同廠家的終端設備c)宜支持視頻緩存功能：d)可支持HTTP接口及不同協議格式的流地址：e)宜提供視頻、圖像、語義、自然語言處理、推理等通用智能能力服務。關鍵指標要求：4b)宜支持全通道實時25fps編碼：c)宜支持HDCVI(高清復合視頻接口HighDefinition機、普通標清模擬攝像機、網絡攝像機三種信號接入，高標清自適應：d)應支持通過數模轉換，全部轉成數字通道：e)可支持選配wifi2.5G/5G內置模塊：支持選配4G模塊：f)可支持web端同步回放、事件回放、圖片回放、快放、慢放功能：g)可支持MicroSD卡，最大支持可達到128G:h)應支持100M、1000M網口：i)宜支持條紋、噪聲、偏色、虛焦、過曝等視頻質量診斷，及時發現圖像異常問題：j)宜支持溫度報警。當溫度超過設定閥值時候，可聯動報警功能：k)宜支持通過web或客戶端進行系統操作、配置操作、報警事件等日志的記錄與查詢功能，最大應達到1024條日志：1)可支持固定容量打包，錄像可以按文件大小打包，以方便用戶進行錄像備份或刻錄：m)宜支持遠程零通道預覽，預覽多通道分割的視頻畫面，包括模擬通道和IP通道：n)應支持ONVIFSERVER、GB28181、CGI、ONVIF2.4標準協議：o)可支持iSCSI擴展存儲功能檢驗，可通過網絡與其他存儲設備連接。并將數據存儲于接入的存儲設備。6.1.3智能視頻網關智能視頻網關，應具備邊緣網關的基本功能，提供多樣的網絡接入，包括快速以太網、ADSL、WIFI、3G/4G/5G/LTECAT4/LTECATI網絡、Modbus、WIFI、PROFINET、EtherCAT等，還應能處理對視頻圖片等數據的智能處理能力。功能要求采用符合GB/T30269.901-2016的技術要求。關鍵功能參數：a)應支持網絡接口、管理網口；c)可支持多種碼流類型，支持雙碼流；d)應支持多種接入能力f)應支持流量分類、訪問控制、攻擊防護和QoS等安全功能，支持用戶策略、應用策略和行為策略等智能控制手段g)宜支持IPSEC(互聯網安全協議InternetProtocolSecurity)、SSL等多種傳輸加密協議；h)宜支持Qos優先轉發視頻、圖片類數據。6.1.4智能攝像機智能攝像機，應具備基本的監控攝像機功能外，還應具有對采集到的視頻圖像數據進行智能分析的基本監控攝像機功采用符合GB/T15412-2017的協議規范外，還應符合GB/T30147-2013的技術要求，智能監控分析功能要求采用符合CUVA006-2020的技術規范。關鍵功能指標要求：a)宜內置電動云臺和一體化變焦鏡頭：b)宜支持前端多種智能資源計算切換，如人體抓拍、人臉抓拍、車輛抓拍、混合目標檢測(建模比對、全結構):5c)可支持萬張以上的對象屬性數據導入(人臉、車牌等):d)可支持黑名單比對成功報警輸出：e)可具備存儲空間存儲對比數據庫：f)宜支持快速抓拍和最佳抓拍兩種模式：h)宜支持三碼流技術，每路碼流可獨立配置分辨率及幀率：i)宜支持定時抓圖與事件抓圖功能。6.1.5工業數字相機工業數字相機定義及功能要求符合T/CWYU001-2020的規范要求。AI框架提供管理數據集、評估器、推理的功能，并且能在多任務之間實現并行運算和任意切換。AI框架宜包括機器學習算法庫、模型庫、推理、結果可視化等幾部分，實驗輕量級、低時延、高效的AI計算功能。AI框架的技術要求應包括：a)應支持邊緣計算節點上文字提取、圖像分類、目標檢測、目標分割等推理算法；b)框架應支持靈活擴展的架構；c)模型庫應支持多種任務(檢測、分割和識別等)的算法模型及模型結構(如CNN、LSTM、RNNd)推理應支持AI專用加速芯片(GPU、NPU、VPU等)硬件指令流：e)應提供基于深度學習芯片的專用計算資源(如GPU、NPU、VPU),協助通用計算單元的運算處理：f)應提供用于加速計算任務的獨立內存空間：g)運行在通用計算單元的主程序應能夠配置、使用、管理深度學習加速單元的硬件計算資源。視頻編解碼處理過程需要滿足如下技術要求：a)視頻編解碼技術要求，應支持多路(如4路、8路、16路、32路、64路等)視頻編解碼：b)應支持H.264、H.265、MPEC-4等視頻編碼格式的至少一種編碼格式的編碼和解碼功能(如1路視頻可支持至少240FPSC1080p,多路視頻如32路，可支持至少30FPSe1080p)。6.2.3視頻圖像內容處理與分析視頻圖像內容處理與分析需要滿足以下技術要求：a)圖像處理技術要求，應支持JPEG、JPEG2000、BMP、PNG等圖像格式的至少一種的編碼和解碼功能，(如宜支持180FPSJPEG圖像解碼能力),宜支持多種類型圖像文件的互相轉換：宜支持多種圖像空間表示：宜支持濾波、銳化、對比度增強、去霧、去抖動等多種圖像增強功能：b)圖像識別技術要求，應支持至少一種圖像類別的分類或檢測，如人體、人臉、車牌、非機動車、機動車、物品、文本、尺寸、外觀缺陷等：宜支持在同一圖像中不同尺度的目檢分類或檢測：識別速度應小于0.5s:c)機器視覺結構化技術要求，應能提取分析目標的一種以上的屬性信息：7a)應支持480P、720P或1080P分辨率其中一種或多種b)應支持實時模式：可支持PAL每路1幀/秒~25幀/秒可調：NTSC每路1幀/秒~30幀/秒可調：c)可支持32Kbps~4096Kbps(720P默認2Mbps,最高4Mbps:1080P默認4M,最高4M):d)應支持視頻流/復合流g)可支持雙碼流：h)應支持G.711A、G.711U、PCM等音頻編碼標準：8.2智能視頻網關性能要求主要性能指標要求：a)應支持10W/100W/1000M自適應以太網口：b)宜支持2個以上USB2.0:c)宜支持至少1個VGA接口：d)應支持標準RS-232串行接口(RJ45接口):i)可支持最多1000臺IP視頻編碼設備接入。8.3智能攝像機性能要求基本性能指標要求采用符合GB/T20090.2-2013的技術要求。其他主要性能指標要求包括a)宜支持主碼流，子碼流，第三碼流等碼流類型：b)應支持H.265,H.264,MPEG等視頻壓縮標準：e)宜支持32Kbps~16384Khps等視頻壓縮碼率：d)可支持人臉+人體抓拍，并關聯輸出，支持兩路混合目標檢測及抓拍，可對人體、人臉、車輛進行檢測等混合目標檢測e)可支持同時檢測30張人臉，支持對運動人臉進行檢測、跟蹤、抓拍、評分、篩選，輸出最優的人臉抓圖；f)可支持人臉對比；8)宜支持移動偵測，報警輸入，報警輸出，遮擋報警，異常等普通事件：h)可支持區域入侵偵測，越界偵測，進入區域偵測，離開區域偵測，徘徊偵測，人員聚集偵測，快速移動偵測，停車偵測，物品遺留偵測，物品拿取偵測；1)應支持斷網續傳，智能后檢索等錄像功能；k)宜支持NAS1)宜支持IPv4/IPv6,HTTP,HTTPS,802.1x,Qos,FTP,RTSP,RTCP,RTP,TCP/IP等網絡協議；m)應支持軟件集成的開放式API,ONVIF,ISAPI;n)可支持至少1路高清視頻的1種目標識別。YD/Txxx-xxX8.4工業數據相機性能要求關鍵性能指標要求包括：a)應支持USB2.0/3.0、1394a/1394b、CamerLink、Gige、CoaXPress等類型的接口：b)應支持黑自與彩色圖像之間切換；c)宜支持10W/100N/1000M等多自適應傳輸率；d)宜支持100萬/300萬/500萬/1000萬/1200萬等多分辨率；e)宜支持8Bit/10Bit/12Bit等多像素深度；f)宜支持5/10/50/100/200幀/秒等多幀率；g)應支持像元尺寸為3um-10un;h)光譜響應范圍在350mm-1000nm。9.1數據接口要求數據接口應滿足如下技術要求a)應支持邊緣計算硬件向云平臺進行按需數據上傳。并對上傳中斷、失敗等異常情況對數據進行緩存并重新上傳：b)應支持云平臺、邊緣側機器視覺平臺之間信息和數據的按需訪問：c)視頻數據傳輸應符合GB/T28181-2016標準或者其他約定傳輸協議的視頻傳輸：d)圖像數據傳輸接口應符合GA/T1400.4-2017標準：e)宜支持第三方調用數據接口協議訪問、查詢與數據獲取：f)應支持至少一種傳輸協議，包括如MQTT、HTTP、CoAP、RESTful等。9.2控制和管理接口要求控制和管理接口應滿足如下技術要求：a)控制接口應支持對算法模型、業務指令的下發與反饋：b)管理接口應支持云側對邊緣側的信息和數據的查詢，應支持邊緣側對云側的請求訪問：c)控制和管理接口均應支持按需調用的參數擴展與修改；d)應支持至少一種傳輸協議，包括如MOTT、HTTP、CoAP、RESTful等。支持多種網絡接入方式，基于高速率、低時延