第第頁項目編號：人工智能邊緣計算視頻大數據解決方案第二章項目建設背景及市場分析2.1基于AI智能分析的視頻上云網關硬件及系統項目建設背景近年來，視頻監控行業的核心技術發生翻天覆地的變化，從傳統的模擬攝像機到當今的IP攝像機、\t"/html/2019-01/_blank"\o"AI"AI攝像機。這個轉變也將為音視頻流媒體行業帶來新的生命力，2019年亞太地區的市場總值達51億美元。隨著攝像機和傳感器的發展，\t"/html/2019-01/_blank"\o"物聯網"物聯網等新興技術與視頻管理系統的集成，視頻技術必將對企業和市場產生更多影響。對于未來的一年，我們認為會有以下三種趨勢：一是\t"/html/2019-01/_blank"\o"人工智能"人工智能將持續推動視頻監控市場的轉變。人工智能能為攝像機配備更加智慧的大腦，以匹配到他們前端的采集，讓整體系統臃腫度進一步改善，并減少人力的投入成本。行為分析與主動識別已經進一步賦予了視頻監控的生命力，例如目前在新加坡與韓國等主要城市的指揮中心與監控中心開始采用智能視頻技術，以實現更有力地打擊犯罪。隨著智能化趨勢的發展，AI視頻技術已經在監控行業中嶄露頭角。二是視頻技術是企業IT戰略中不可或缺的因素。在現代企業中，企業領導者和關鍵決策者不僅重視公司資產的安全性，而且對業務流程與環境有更加迫切的了解需求，而智能視頻技術在提升業務績效和降低運營成本等關鍵點上都會有極佳的表現。如零售業便是獲益最明顯的例子，視頻監控不僅充當安保的角色，在物聯網與視頻分析技術的提升下，用戶已經可以及時了解消費者的消費行為及習慣；三是視頻與物聯網正在融合改變傳統業務。隨著越來越多的物聯網設備相互連接，其產生了大量的數據，視頻分析將加速大量結構化數據的轉化，以生成可操作以及具有價值的視頻數據。2.2基于AI智能分析的視頻上云網關硬件及系統國內外現狀2.2.1國外智能視頻應用現狀分析2001年美國“9·11”事件，以及后來的西班牙馬德里列車連環爆炸和英國倫敦地鐵大爆炸等恐怖襲擊后，使全世界范圍內對視頻監控系統的需求空前高漲，各國部署的攝像頭越來越密集，系統也日益龐大。比如英國全國范圍內目前已經安裝攝像機420多萬個，平均每14個人一個，一個人一天之中可能出現在多達300個攝像機前，為了解決海量信息與圖像的有效應用與處理問題，各國相繼把計算機視覺中的相關技術引入到視頻監控中，從而發展起來一種新型視頻監控技術—智能視頻監控。智能視頻應用概念模型出現后不久，一些國外的公司就開始著手研發相關的軟硬件產品，經過幾年的發展，智能視頻分析技術在歐美國家得到了長足的發展，迅速形成了相對成熟的產品并成功應用于實際安防工程中。如瑞典Axis網絡通訊有限公司早期推出了一批智能視頻產品，其中包括AXIS242SIV視頻服務器和AXISIVM120人數統計智能視頻應用模塊。AXIS242SIV集成了專用DSP芯片（TIDM642），具備強大的圖像處理能力，并可支持第三方應用軟件模塊的運行和開發。AXISIVM120人數統計智能視頻應用模塊可以使視頻監控設備通過對監控畫面的分析自動為用戶計算進/出特定區域的人數，能夠有效幫助服務、零售等行業的管理者分析營業情況或提高服務質量。Axis還計劃推出更多智能視頻應用模塊，包括車牌號識別、非法滯留等等。此外，美國VERINT公司是較早進入智能視頻分析領域的國際廠商之一，同時也是較早倡導并實施“前端內置分折”架構理念的廠商之一。該公司為用戶提供“一站式”的智能視頻分析解決方案—Nextiva，其中包括網絡視頻編碼器、網絡攝像機、無線視頻編碼器等硬件產品，用來滿足不同行業不同部署環境的用戶在智能分析方面的要求。從目前的發展情況來看，當前大部分智能視頻監控系統的核心算法技術仍然掌握在美國以及歐洲地區等國家手里。據IMSResearch調查顯示，世界范圍內IVS（IntelligentVideoSurveillance）的市場占有率為35%～36%，其中美國的OV（ObjectVideo）就占有9%左右的比例。“9·11”事件發生后，美國在安防科研方面大大加強了投資力度，許多研究機構和研究人員紛紛加入了安防類技術研究和開發，智能視頻分析就是其中的一個亮點。由于視頻分析需求的產生促使視頻監控系統智能化出現，進而推動軟件市場年復合增長率達到21.7%。根據IMS的市場研究分析，在未來3年內有關視頻技術的軟件市場份額將達到8億美元。在視頻智能分析軟件的市場需求急劇增長的刺激下，國外提供視頻智能分析軟件產品的廠商有很多，如：Verint、Vidient、Westec、Interactive、VisualDefence、Nextiva、Vistascape、NiceVision、ioimage、TASC、MATE、Ov、Dallmeier、Ivbox、Viseowave等，這些廠商都能提供視頻智能分析產品，大部分廠商提供的視頻智能分析產品都基于ObjectVideo公司的圖像分析技術，采用ObjectVideoOnBoard平臺來設計并創建自己品牌的OEM產品，這是大部分視頻智能分析產品商以最小的投資成本及最快的時間來贏得市場的一個辦法。總的來看，經過長期的發展和積累，在市場需求的推動以及政府的支持下，國外的智能視頻應用市場正在從“概念驗證”階段向“規模應用”階段轉化，智能視頻已經在地鐵、鐵路、機場、高速公路、軍事等領域得到較廣泛的應用，并慢慢開始形成一個產業。2.2.2國內智能視頻應用現狀分析當前，國內視頻監控的主要需求依然來自于平安城市建設、行業延伸及民用市場開啟。伴隨著我國城鎮化的持續推進，政府對平安城市、智慧城市建設及升級改造的重視，各行業對視頻監控及視頻應用需求的進一步提升，居民對人身安全、財產安全的重視程度不斷提高，促進視頻監控行業市場規模繼續保持快速增長。此外，伴隨著“中國制造”、“互聯網+”的開展，視頻監控也得到政策的大力支持。從發展勢頭來看，傳統的金融、能源市場趨于飽和，政府、交通市場還在持續快速增長，民用、醫療、教育等新興市場保持高速增長勢頭。就智慧城市建設而言，目前大城市的安防基礎建設工作已基本完成，中小城市正處于蓬勃發展階段，視頻監控更多的向聯網化、智能化和高清化方向發展，同時隨著對數據和有效信息利用要求的提高，云存儲、大數據和云計算也開始發展。在智能交通領域，隨著智能手機和無線互聯網開始普及以來，互聯網的體驗型應用越來越滲透到智能交通中，此外，視頻智能分析、車聯網等技術不斷突破，不僅提高了公安交警的工作效率，也給普通民眾提供了更便利、更人性化的平臺。民用市場迎來發展期。隨著人們生活的水平提高，消費者正在成為推動消費安防的重要力量，中小企業、商鋪、家庭逐漸成為常規安防需求的中堅力量。目前，我國民用安防監控只占了6%的市場份額，遠遠落后于發達國家（如美國民用安防監控產值占據了整體的30%以上），具有非常強的發展潛力。隨著家庭市場的發展成熟，市場會向更高一級的使用便利化以及有序管理服務方向發展，家庭監控將融合移動監控、云存儲、隱私保護以及綜合運營服務，不單單是安全功能，同時也向個人價值的滿足和分享方向發展。2.3智能視頻技術發展趨勢2.3.1“大數據+云”的智能化視頻監控進入高清化、網絡化與智能化階段，一個城市每天從卡口攝像機產生的視頻數據就達到PB級。海量的高清視頻監控數據對網絡傳輸和后端存儲提出了新的挑戰，安防大數據時代，如何構建以視頻應用為核心，通過“大數據+云”技術滿足平安城市建設中的治安管理、城市管理、交通管理、應急指揮等需求，同時發揮預防、發現、控制、打擊違法犯罪的作用，為案件偵破提供破案線索，固定違法犯罪證據等方面發揮人防、物防所不可替代的作用，對于提升城市可視化管理水平和政府應急處置能力，搭建高效的社會治安防控體系，提升公安警務工作中的實戰效能，維護城市公共安全具有十分重大的意義。以車輛大數據技術在平安城市的應用為例，大數據通過對海量數據的整合和挖掘，揭示傳統技術方式難以展現的關聯關系，還可以預警風險，及時切斷風險鏈。如針對堵車現象，實時采集車流數據，自動控制信號燈，讓堵車能有所緩解，實現視頻監控“大數據+云”的智能化應用。2.3.2聯網共享的大平臺平安城市建設因為參與建設的企業眾多，在前期大建設階段，各個廠家因為設備協議、傳輸模式、編解碼方式、平臺操作系統各不相同，導致現階段的視頻監控要實現設備和平臺的互聯互通，難度相當的大。雖然現在存量市場巨大，但同一個城市存在一二三類監控點聯網接入難的問題，以深圳作為一線城市的代表為例，目前二三類點的攝像機的聯網接入就難以實現，其他城市在未來三到五年內要想實現設備與平臺的互聯互通，難度就更大。然而不管困難有多大，未來平安城市建設以視頻監控聯網共享的大平臺的趨勢不可抵抗，以一個大中型規模的城市為建設模型，大平臺模式可分為三級層次：一是以市公安局為一級視頻共享平臺，二是以區縣分局、派出所為二級視頻共享平臺，三是以各種視頻感知前端如治安卡口、布控球、車載監控等接入三級管理平臺。并最終依托互聯網，以市級監控平臺為基礎，建立與交警、市政管理等平臺進行互聯互通，形成感、存、知、用一體化的綜合性大平臺。2.3.3.智能運維的可管控在視頻監控進入“大數據+云”及聯網共享大平臺階段，對整個安防網的網絡架構及后端服務器提出了嚴苛的要求。以存儲為例，要實現海量視頻存儲數據有價值信息的提取，勢必要對存儲系統的容量、擴展性、性價比、性能、管理性、穩定性等提出更高的要求。而聯網共享大平臺由于本身聯接的設備及平臺系統眾多，也需要一套可智能監測自身運行狀況的運維系統，讓服務器主動監控在線情況、圖像情況、錄像完整情況等，即發現問題，并采用先進的智能分析技術，對視頻應用中常見的故障情況進行智能診斷分析。平安城市的智能運維系統可以對監控視頻進行智能診斷，讓管理人員掌握監控點位攝像機的好壞及信號傳輸的健康狀況等，如監測攝像機有沒有虛焦、過曝、遮擋等問題，以保證平安城市整個安防網絡本身是可管控的。2.3.4音視頻相關的智能硬件一般來說，智能硬件指的是具備信息采集、處理和連接能力，并可實現智能感知、交互、大數據服務等功能的新興終端，成為“互聯網＋”AI的重要載體。智能硬件是以平臺性底層軟硬件為基礎，以智能傳感互聯、人機交互、新型顯示及大數據處理等新一代信息技術為特征，以新設計、新材料、新工藝硬件為載體的新型智能終端產品及服務。從某種意義上說，基于AI智能分析的視頻上云網關硬件及系統由于可以通過人機交互自動完成一系列服務和功能，因此可以被歸為智能硬件范疇。另一方面，智能硬件特征的視頻上云網關可以通過與其他智能硬件，如智能手機，通過二維碼建立連接，進而進行應用間的交互，例如：監控設備在線狀態，配置管理、數據交換等。視頻上云網關設備向智能化方向的轉變是一種必然的趨勢，也必然會帶來重大的技術和業務革新。2.4對產業發展的作用與影響視頻監控系統不斷建設和快速發展，其在打擊犯罪、治安防范、社會管理、服務民生等方面發揮著越來越積極的作用。從當前全國視頻監控系統的部署情況來看，視頻上云已成星火燎原之勢。對產業化發展的作用與影響主要體現在以下五個方面：2.4.1提升資源使用效率計算和存儲的資源池化，可以大幅度的提升資源使用效率，實現資源的分時、跨域共享和按需調用，避免重復建設，同時實現資源的快速彈性擴容，加快業務部署。2.4.2為數據的融通提供可能便于市、區、縣之間視頻監控數據的融通，形成“數據湖”，實現視頻監控圖像信息共享，使跨市、區、縣的視頻追蹤辦案成為可能。在新形勢下，國家發改委、中綜辦、公安部等九部委在2015年聯合發布了996號文，對視頻監控系統提出了“全域覆蓋、全網共享、全時可用、全程可控”等立體化防控體系建設的要求。為滿足“全網共享”的要求，傳統的視頻監控系統采用煙囪式模式來建設，不同廠家系統間的視頻數據共享實現起來難度非常大。云平臺是解決數據共享最佳的模式，通過視頻上云來承載視頻監控的圖像信息大數據，具有平滑擴容、便于共享、便于處理、便于管控等優點。2.4.3解決海量視頻大數據和AI的算力問題視頻監控圖像信息大數據和AI的處理、分析需要用到超高性能計算能力，上云可以解決算力不足的問題。海量的視頻圖像信息，需要遠超出普通數據處理技術的存儲、分析、搜索等能力。視頻大數據可以分析間接的人與人、物與物、人與物間的關系，這對視頻監控系統的計算能力提出了非常高的挑戰。而視頻上云的方案，可為視頻監控系統按需提供計算能力。例如某省大數據平臺，強大的計算能力支撐業務快速響應，可在1分鐘內實現億條過車數據分析。有一次發生山體滑坡，有車輛被掩埋。當時通過大數據平臺匯聚75個收費站、4042公里省內高速、13.3萬輛車的信息，結合時空軌跡等信息準確分析出被埋車輛車型、乘員、數量等信息，為搶險工作提供有力支撐，而傳統的服務器集群方案無法滿足以上要求。2.4.4開放的云模式構建繁榮的生態視頻上云是一種生態，向下可對接琳瑯滿目的不同廠家攝像頭，向上承載百花齊放的行業最優算法和應用。通過靈活組合，始終保持實戰能力的領先。采用通用服務器來構建基礎設施是視頻云的基本能力，在此之上構建基于OpenStack開放架構的云平臺和基于Hadoop架構的大數據平臺作為統一的安防云計算存儲環境，真正做到軟件與硬件解耦、前端與后端解耦、應用與平臺解耦。對上支持各種算法和應用的部署，讓各個廠商做自己擅長的事情；對下提供可靠、開放、易維護、易管理的統一接入服務和視頻轉碼服務，兼容各主流廠商的各種前端設備，滿足公安機關日常立體化防控的業務需求。視頻上云是平臺和生態基礎，開放、共享是必要基因。在某省，創新的組件化開發模式供警局敏捷開發了100多種通用組件方便各警種根據業務需要直接調用，提高了效率，達成優異的實戰效果。2.4.5云端智能化比前端更強大、更豐富視頻上云建設的核心就是拉通共享，所有攝像頭及視頻數據資源應該是隨需而動，比如市區道路卡口的主要工作是車輛識別，但在重要安保或緊急抓捕行動時，還需具備人臉識別功能，在前端攝像頭中無法內置所有的算法，需要部署多類攝像頭才能滿足需求，而從云端實現多業務算法是更優途徑。以上五大驅動力使得越來越多的視頻監控系統采用云模式進行規劃、建設和部署，實現了資源的共享、數據的融通、算力的提升；而開放的生態和業務的智能，讓視頻監控系統更好地為公安實戰服務，無論是城市安全還是商業優化，視頻的未來都充滿希望，讓城市更安全，讓社會更安定。2.5產業關聯度分析2.5.1結合人工智能技術，以效率提升和價值創造賦能客戶在云計算、大數據與人工智能趨向三位一體的背景下，視頻上云在上傳、轉碼、分發、播放的基礎服務上，不斷探索新的增值服務，從視頻內容審核到可以直接驅動流量變現和內容生產的視頻內容理解和視頻內容編輯。盡管目前"AI+"在客戶群體中的滲透程度相對有限，但考慮到人工智能技術的應用將能夠帶來效率提升、價值創造的顯著作用，從而提升視頻云服務對客戶的價值，勢必會成為下一階段行業發展的重要方向。視頻內容數量激增對于各類型的視頻平臺而言既是機會也是挑戰，2018年4月短視頻行業迎來最強監管，低俗、暴力、血腥、色情等問題再度引起關注。現階段單純的人工審核方式已經顯現出瓶頸，結合人工智能的視頻內容審核因大幅節約重復工作所帶來的人力成本，正逐漸成為視頻云服務的一項重要功能。人臉識別、事件識別、動作識別、語音識別、文字識別、視頻指紋等人工智能增值服務迅速發展，未來將更廣泛的應用在視頻云服務行業。全球經濟正大步踏入數字經濟時代，同時，企業逐步邁向扁平化、平臺化、生態化，管理模式正在發生深刻變革，視頻上云是大勢所趨。2.5.2構建云-邊協同的智能云終端平臺采用“云、管、端”總體架構，租用公有云服務，實現視頻監控統一轉碼接入云端，開發云端視頻管理平臺，通過微信微博小程序等滿足社會公眾的高并發訪問，實現視頻秒播。2.6智能視頻市場需求分析全球行業數字化轉型的浪潮孕育興起，掀起了新一輪產業變革浪潮。據第三方分析師機構統計，到2020年將有超過500億的終端與設備聯網，未來超過50%的數據需要在云端分析、處理與儲存，如何解決海量終端的聯接和管理，海量數據的實時分析和處理，成為保障行業數字化轉型的現實難題。特別是音視頻智能技術的普及應用，使得城市的安防從過去簡單的安全防護系統向智慧城市綜合化體系演變。城市的安防項目涵蓋眾多的領域，有街道社區、樓宇建筑、銀行郵局、道路監控、機動車輛、警務人員、移動物體、船只等。特別是針對重要場所，如：高速公路、機場、碼頭、水電氣廠、橋梁大壩、河道、地鐵、加油站等場所，引入智能視頻技術后可以通過無線移動、軌跡跟蹤定位等手段建立全方位的立體防護。兼顧了整體城市管理系統、環保監測系統、交通管理系統、應急指揮系統等應用的綜合體系。特別是車聯網的興起，車載視頻智能終端在公共交通管理上、車輛事故處理上、車輛偷盜防范上可以更加快捷準確的跟蹤定位處理。2.6.1存儲資源消耗大且增長迅速視頻監控業務極度消耗存儲資源，一個成規模的互聯網視頻監控服務往往需要PB級甚至更多存儲資源，普通IDC或小云服務提供商有限的基礎設施很容易成為云視頻監控業務爆發增長的瓶頸，一旦出現存儲瓶頸，擴容難度大，遷移成本高。2.6.2對數據可靠性要求高監控視頻數據是安防監控業務的核心價值數據，必須不能丟失。尤其是在互聯網業務模式下，如果能做到視頻數據不丟失，安防監控服務提供商就能向其終端用戶提供可靠的視頻存儲服務。2.6.3帶寬資源消耗巨大，且上行、下行流量不對稱7*24小時寫入視頻流的視頻監控業務是重資產的業務，數萬級別攝像頭、數GB級別并發上傳流量帶來了巨大的帶寬成本。并且，視頻監控業務有明顯的上行流量遠大于下行流量的特點，而在互聯網類的業務模式下，下行流量才是行業的有效業務流量。在傳統IDC架構中，流量不對稱的特點直接導致無效成本的增加。2.6.4用戶觀看體驗在海量并發業務下難以保障流暢是視頻監控最重要的用戶體驗，數萬路視頻并發寫入、觀看需要優質的基礎設施、強大的產品性能，來保障視頻體驗質量。視頻流一般為分片存儲，任意分片寫入失敗，就會直接導致播放時卡頓。2.7應用前景和預期效果基于AI智能分析的視頻上云網關設備及系統是基于視頻智能AI分析的一站式快速上云解決方案。企業可通過智能接入網關實現Internet就近加密接入，獲得更加智能、更加可靠、更加安全的上云體驗，可實現線下機構互通或線下機構接入云數據中心。運用煙火識別、車輛識別、車牌識別、人臉分析等技術，可廣泛應用于消防、交通、園區、加油站等的智能云終端設備。從目前來看，視頻上云網關的應用可分為安防類應用和非安防類應用兩大類，安防類應用是目前市場上的主要應用，具體包括：（1）高級視頻移動偵測：在復雜的天氣環境中（例如雨雪、大霧、大風等）精確地偵測和識別單個物體或多個物體的運動情況，包括運動方向、運動特征等。（2）物體追蹤：偵測到移動物體之后，根據物體的運動情況自動發送PTZ控制指令，使攝像機能自動跟蹤物體，在物體超出該攝像機監控范圍之后，自動通知物體所在區域的攝像機繼續進行追蹤。（3）人物面部識別：自動識別人物的臉部特征，并經與數據庫檔案的比較來識別或驗證人物身份。（4）車輛識別：識別車輛的形狀、顏色、車牌號碼等特征，并反饋給監控者，可用在被盜車輛追蹤等場景中。（5）遺留、遺棄物品檢測：當一個物體（如箱子、包裹、車輛、人物等）在敏感區域停留的時間過長或超過了預定義的時間長度就產生報警，典型應用場景包括機場、火車站、地鐵站等。（6）入侵探測：可感知設定區域內突然出現和入侵的物體并及時報警，比如在戒備森嚴的軍事重地或銀行博物館等重要場所出現可疑人物等。（7）物品被盜或移動檢測：當監控場景中的物體被盜或移動，算法將自動檢測這種動作，常用于貴重物品和關鍵設備的監控。（8）人體行為分析：在目標檢測分類的基礎上，利用人體的各種行為特征對其進行各種行為的描述和分析，提取那些危險和有潛在危險的行為，如打斗、搶奪和突然倒地等行為。（9）擁擠檢測：識別人群的整體運動特征，包括速度、方向等，以避免形成擁塞或及時發現異常情況，典型的應用場景包括超級市場、火車站等人員聚集的地方。（10）焰火檢測：根據發生火情過程中煙火表現出的特征進行煙火的實時檢測。除了安全相關應用之外，視頻上云網關設備還可以應用于一些非安全業務中，這些應用主要面向零售、服務等行業，以提高服務水平和營業額，具體包括人數統計、人群控制、注意力控制和交通流量控制等。2.8重點應用領域分析2.8.1平安城市基于AI智能分析的視頻上云網關需求近年來，隨著改革開放的進一步深入，我國經濟飛速發展，城鎮化速度進一步加快，導致城鎮人口流動化、密集化的趨勢愈發明顯，這給城市治安、交通及城市管理等諸多方面帶來了沉重壓力。為應對社會發展給公安管理工作特別是預防犯罪和執法工作帶來了嚴峻的挑戰，國家早在2004年就提出了創建平安城市、平安社會的活動并啟動了“科技強警示范城市”創建活動，隨即從2005年開始在全國范圍內開展城市監控報警聯網系統建設“3111”試點工程。近年來全國上下更是掀起了平安城市建設的熱潮，2010年平安城市市場規模約700億，占安防市場總量的30%。近幾年以來國家平安城市相關的預算增長了70%，全國已有25個省份，218個城市，290多個區縣，2235個派出所安裝了視頻監控。公安機關已建監控系統2萬余套，省級監控平臺20余套，實現聯網IPC40余萬臺，地市級平臺332套，實現聯網IPC60余萬臺。平安城市就是通過三防系統（技防系統、物防系統、人防系統）建設城市的平安和諧。它是一個特大型、綜合性非常強的管理系統，不僅需要滿足治安管理、城市管理、交通管理、應急指揮等需求，而且還要兼顧災難事故預警、安全生產監控等方面對圖像監控的需求，同時還要考慮各系統之間的聯動。2.8.2園區智能安防基于AI智能分析的視頻上云網關需求從園區的類型來看，可以劃分為企業園、物流園、工業園等。工業園區安防系統通常由以下部分構成：視頻監控系統、入侵報警系統、門禁管理系統、電子巡更系統、停車管理系和綜合管理平臺。為園區周界、內部道路、大廳、走廊、室內提供全方位綜合安防保障，實現園區可視化、數字化、智能化管理，讓園區更智能，讓工作與生活更平安。視頻監控系統企業工廠的視頻監控系統主要實現對主要出入口、關鍵區域(如：倉庫、財務室)、車間、生產線的在線視頻監控，重要區域實現24小時不間斷錄像，預防事故、案件的發生，并且可以在事后進行原因分析、證據定位。入侵報警系統入侵報警系統對非法入侵情況向安保人員進行報警，通常由周界防范和防盜報警系統構成，系統通過在廠區分布設置的報警探測器對廠區周界及重要區域進行布防，實現非法入侵探測，一旦監視區域內發生非法入侵，報警探測器立即發出報警信號到保衛中心。煙火檢測廠區、加油站是一個由儲存、輸送、消防、維修等子系統構成的一個易燃、易爆、有毒的危險場所。由于它存在易燃、易爆以及易腐蝕、有毒、易流失等不安全因素，危險性很大。一旦發生事故，就可能造成人員傷亡和油料物資的大量損失，因此采取預防措施，加強明火管理，嚴防火種產生是輸油站安全管理的首要措施，煙火識別系統成為輸油站的首要選擇的智能防范措施。煙火檢測基于智能視頻分析和深度學習神經網絡技術，實現對監控區域內的煙和火煙進行識別、實時分析報警。不依賴其他傳感設備，直接對視頻監控區域的畫面的煙霧和火焰均可及時準確識別。對煙霧和火焰實時分析報警，同時將報警信息快照和報警視頻存入數據庫，將報警信息及時推送給相關的管理人員，及時應對。煙火檢測可協助管理人員，對廠區、輸油站內的火焰做到全天二十四小時實時分析及時報警。門禁管理系統廠區的門禁管理系統通過讀卡器和電磁鎖控制人員的進出，對人員在敏感區域的進出加以記錄，同時能結合廠區考勤系統及消費系統、停車管理系統等實現廠區一卡通功能。電子巡更系統電子巡更系統通過在廠區的主要干道、重要機房、倉庫、財務室等關鍵設置巡更點，安保人員在特定時間內按設計好的線路進行巡更，實現廠區安防的人防和技防相結合。該系統分為離線式、在線式兩種模式，離線式無需布線至中心，安裝方便，系統擴展性好，但實時安全性不高；在線式通過巡更點與中心直接連接，能實時顯示巡檢人員的身份信息、地理位置等。停車管理系統停車管理系統可以實現對車輛的進出和停放進行有序管理，包括對廠區內部車輛管理、外來訪客的臨時車輛管理。通過系統實現對進出車輛的記錄、控制、計時及收費等功能。綜合管理平臺綜合管理平臺將視頻監控系統、入侵報警系統、門禁管理系統、電子巡更系統、停車管理系統有機結合起來，實現一體化集成管理和系統聯動。例如：當發生入侵報警時，可聯動攝像機對報警區域進行監視；門禁的進出記錄和視頻監控可以有機結合起來，對門禁出入情況可關聯視頻監視；視頻監控和電子巡更、停車管理系統的有機結合等等。2.8.3智慧校園基于AI智能分析的視頻上云網關需求近年來，隨著各種校園安全事件頻發，學校人流集中，場地復雜難于管理，為預防、震懾犯罪，減少財產損失，保障師生員工的人身安全，完善校園安全防范體系、提高校園整體防控能力，改善學校管理體系，創建一個文明、安全、和諧、美麗的校園環境，亟需一套完善的解決方案，將最新的視頻監控和智能技術應用到校園的安全保障中，通過“人防、物防、技防”的有效結合，全方案保護學校是生的人身財產安全。目前，校園實行智能安防的主要需求有：透明食堂監控為了保障學校視頻安全，預防不法案件的發生，目前需要重點監控飲食加工操作規范、外來人員進出食堂突發事件以及對視頻安全事故記錄取證；校園車輛卡口系統校園和社會外界融為一體，校園內存在大量的社會車輛進出，對于校園里的車輛管理和安全管理是個很大的隱患。為了解決這一問題，需要在校園內部署卡口測速系統，對超速車輛、黑名單車輛抓拍布控，加強校園車輛管理，提高整個校園的安全管理水平；手機移動監控保證學校領導在外的時候，可以通過手機預覽學校緊急事件現場的實時圖像和歷史錄像；打通安防和這些其他業務系統的隔閡，實現安防與校園管理的融會互通也成為一個必要條件。校園安防正逐步將技術防控系統作為安保信息化建設其中一部分，逐步提升智能化水平，實現技防各子系統高度集成聯動、海量數據智能化分析并自動導出，真正意義上實現安保工作基礎平臺信息化。隨著安防監控越來越靠近IT行業，安防項目很多數據傳輸和處理都要靠信息技術來完成。2.8.4高速視頻上云基于AI智能分析的視頻上云網關需求監控視頻作為道路信息采集的一種手段，因其實時性、直觀性，對道路管理者掌握道路通行實景具有不可替代的作用，一是交通誘導，通過遠程視頻監控，可以實時采集路況信息和氣象信息，為交通誘導提供依據。二是事后取證，對道路、收費站車道、收費亭等日常工作、出入車輛的視頻圖像資料進行存儲，以備交通事故、車輛闖卡等突發事件取證時查詢。三是應急指揮，在突發交通事故等事件時，可以實時監控，為遠程應急指揮提供幫助。為改善高速公路運營管理效率，提升高速公路信息服務能力，以“互聯網+交通”為思路，創新采用“云、管、端”的總體架構，將分散在各個路段管理的監控視頻推送上云，建立云上統一的“可視”“可控”的視頻平臺。同時視頻上云網關為高速公路各級管理者提供實時、高清、便捷的視頻調看服務，同時向出行公眾提供低延時、大并發、可管控的安全視頻服務。第三章項目實施目標和主要內容3.1項目實施目標本項目結合互聯網、人工智能、物聯網、大數據、智能語音、云計算等信息技術，研發基于AI智能分析的視頻上云網關硬件終端+軟件系統，視頻智能分析軟件、省級視頻聯網云平臺、智能物聯網聯網平臺、智能云組網服務平臺、視頻接入相關軟件、智能邊緣計算平臺，解決存儲資源消耗大且增長迅速，對數據可靠性要求高，帶寬資源消耗巨大，且上行、下行流量不對稱，用戶觀看體驗在海量并發業務下難以保障的技術問題，并嵌入智能語音、煙火識別、車牌識別、車流分析、人臉識別、擁堵分析等模塊，實現Internet就近加密接入，獲得更加智能、更加可靠、更加安全的上云體驗。經過簡單配置即可實現視頻接入、視頻濃縮、視頻轉碼、智能組網、邊緣計算、人臉識別等技術目標。3.2建設內容與建設規模“基于AI智能分析的視頻上云網關設備及系統”項目建設周期：2019年10月1日至2020年11月30日。該項目基于互聯網、視頻智能分析、物聯網、視頻大數據、智能語音、云計算等信息技術，融合視頻上云運營理念，為客戶打造智能的終端設備、智享的用戶服務和智慧的運維管理，是真正意義上的互聯網化、智能化的視頻上云解決方案。該項目在建設周期內，計劃總投資200萬元，其中固定資產20萬元，項目建設完成，達產年預計新增產值380萬元，新增利潤50萬元，新增稅收18萬元。3.3技術方案該項目融合視頻上云運營理念，為政企部門打造一套包含平臺+硬件的智能視頻快速上云一體化的解決方案，幫助政企部門通過智能視頻上云網關實現Internet就近加密接入，獲得更加智能、更加可靠、更加安全的上云體驗，有效提高運營效率，節省成本，增大利潤空間。對上云匯聚點的視頻系統開展上云接入條件改造后與云平臺直接對接，具備控制信令通過由云提供的云端VPN隧道傳輸、視頻流由互聯網通道傳輸等功能，并由云平臺向各地提供統一的“在線調取、共享分發、智能分析”等服務，同時具備調整為“路段-升級云平臺-部級云平臺”方式的能力，總體架構如下圖：云端安全框架圖：3.3.1視頻上云網關設備及系統的設計視頻接入技術視頻源設備多種多樣，目前市場上有攝像機IPCamera、硬盤錄像機NVR、視頻編碼器、視頻服務器等各種視頻源設備，而這些設備目前經過發展和市場改造，基本都已經支持標準的RTSP/Onvif、國標GB/T28181協議，而要將這些設備接入到視頻上云設備中，就需要設備能夠支持這一系列的行業標準協議。（其中國際標準RTSP/Onvif協議可通過EasyNVR流媒體服務器軟件接入，國標GB/T28181協議可通過EasyGBS流媒體平臺接入，還可通過EasyRTMP流媒體推送軟件將RTMP、FLV視頻流，對接/推送到視頻上云設備中，如EasyDSS流媒體服務器軟件、EasyIOT智能物聯網服務平臺、EasyCVS省級視頻聯網云平臺等）。在通常情況下，視頻智能分析的原始數據源就是這些設備所生產的，他們具有編碼多樣化、碼率多樣化、幀率多樣化、編碼質量多樣化等特點，這些視頻參數會給視頻源設備的接入帶來各種各樣的兼容性問題。同樣，在不同的應用領域，對于視頻接入的要求也各不一樣，例如機場、火車站、交通等人流量密集區域視頻設備，就需要超高分辨率、超大碼率、超大數據量的實時視頻源，用于實時的人流量統計、人臉識別和車輛（車牌）分析。通過接入視頻監控圖像，并存儲至云端視頻服務器，滿足視頻的實時推送和調看需求。視頻轉碼視頻上云網關通過集成轉碼工具，可以顯示上云匯聚點采集的視頻、圖片，在導入系統時統一轉化為標準格式視圖，在平臺中統一播放，為之后的視頻結構化分析提供前期必要的視頻準備工作。視頻編碼的歸一化是一切視頻結構化分析和應用的基礎，只有盡可能多地兼容多種視頻格式，才能實現視頻信息的深度應用。目前上云網關支持視頻、音頻兩種文件形式的轉碼，其中支持80多種的視頻格式，并且兼容的范圍在持續增長。通過就媒體服務器進行視頻轉碼，通過云視頻平臺的接口實時上報高清視頻的攝像機信息。視頻濃縮目前進行視頻偵查作戰，主要還是依賴“人海戰術”。這種方式由于投入資源巨大，目前只能應用于重特大案件中，無法應用于一般性案件。隨著視頻資源質量的提高，以及人像、機動車等識別技術的成熟，可以通過自動識別、自動比對以及自動預警的方式來提高視頻資料的利用效率，減輕人工工作壓力。通過平臺的濃縮處理工具可以快速實現視頻中運動目標的動靜分離，1個小時的視頻可以通過壓縮處理成幾分鐘的只包含運動目標的視頻，且運動物體可以根據需要在同一時間集中播放，大大縮短民警查看視頻的時間。摘要分析經過上云網關終端及系統，云端統一輸出標準的RTSP、RTMP、HLS、FLV格式直播流，云端智能分析采用模式識別、圖像分析比對等技術，自動對視頻圖像進行分析，提取結構化信息描述，生成多種類型的索引：包括運動目標索引、車輛索引、煙火等危險物索引以及人臉索引。生成的索引能夠在時間軸上進行標記，支持人工標注發現的線索信息，截取視頻片段，并作標記，以便案件進一步分析研判使用。視頻增強通過研究視頻圖像增強技術，不僅可以對實時視頻，也可以對歷史視頻中的模糊現象進行清晰化處理。改善由于環境因素（霧天、奇偶場等）導致的圖像模糊現象。靈活的參數設置方案，實現畫面質量即調即所得。常用于惡劣天氣下高速車輛設備、車牌識別及人臉識別，防控高速事件的發生。模糊圖片處理警用圖像處理系統主要包括常規功能、高級功能、特殊功能和序列圖像處理功能。常規功能主要涵蓋圖像幾何變換、圖像濾波、圖像特征、圖像運算、圖像增強和圖像轉換形態學操作等圖像的基本操作功能。高級功能主要包括超分辨率、模糊處理、圖像復原、圖像融合、噪聲處理和顏色處理。特殊功能包括人像重建、去霧、色彩分離、移行和奇偶場。序列圖像處理主要包括穩定化、超分辨率、多幀平均、多幀融合、手工配準和低照度增強。人臉識別比對通過模式識別技術，快速提取視頻中運動目標的人臉，與公安的高危人員庫進行比對識別，一旦發現嫌疑人員，系統自動產生報警，起到了提前預防和防范的目的。邊緣計算技術邊緣計算指的是在網絡邊緣結點來處理、分析數據。這里，我們給出邊緣結點的定義，邊緣結點指的就是在數據產生源頭和云中心之間任一具有計算資源和網絡資源的結點。比如，手機就是人與云中心之間的邊緣結點，網關是智能家居和云中心之間的邊緣結點。在理想環境中，邊緣計算指的就是在數據產生源附近分析、處理數據，沒有數據的流轉，進而減少網絡流量和響應時間。邊緣計算市場概況：驅動因素云基礎設施上的負載越來越大不同行業有種類廣泛的應用智能應用的數量增加制約因素與邊緣計算有關的安全和隱私問題機會5G網絡出現挑戰不夠到位的行業標準和互操作性問題推動因素：云服務的推動：云中心具有強大的處理性能，能夠處理海量的數據。但是，將海量的數據傳送到云中心成了一個難題。云計算模型的系統性能瓶頸在于網絡帶寬的有限性，傳送海量數據需要一定的時間，云中心處理數據也需要一定的時間，這就會加大請求響應時間，用戶體驗極差。物聯網的推動：現在幾乎所有的電子設備都可以連接到互聯網，這些電子設備會后產生海量的數據。傳統的云計算模型并不能及時有效的處理這些數據，在邊緣結點處理這些數據將會帶來極小的響應時間、減輕網絡負載、保證用戶數據的私密性。終端設備的角色轉變：終端設備大部分時間都在扮演數據消費者的角色，比如使用智能手機觀看愛奇藝、刷抖音等。然而，現在智能手機讓終端設備也有了生產數據的能力，比如在淘寶購買東西，在百度里搜索內容這些都是終端節點產生的數據。智能云組網技術解決難題設備置于私有內網，設備所在內網無公網固定IP地址，無法在互聯網上被其他用戶和設備訪問到；設備置于私有內網，設備所在內網雖然有公網固定IP地址，但端口映射權限的開通遇到困難，網管不會、審批流程麻煩、端口資源不夠、映射端口不夠靈活，如何跳過路由器、防火墻，做自定義的端口映射；需要遠程運維內網設備或者主機，即使主機既沒有公網固定IP，而且遠程端口（例如22、3389等）未開放，如何做到對各種類型終端設備的指令控制；設備置于私有內網，而且數量眾多，內網多臺設備如何能夠統一組織到云端，實現云端的集中訪問和控制；在音視頻上云領域，內網上行帶寬總是有限，如何借助云端帶寬和計算資源實現更大能力的數據分發；有的應用場景下，常態情況無需端口映射，是否有方案能夠做到按需映射、按需組網；保護數據安全，表面上數據是從公網輸出，實際是內網輸出的，云組網只做數據的代理轉發；主要內容網絡穿透服務這里說到的網絡穿透，可能跟傳統意義上的p2p網絡穿透不是一回事，傳統意義的網絡穿透多指終端網絡（p即私有內網）與終端網絡之間直接對等傳輸，不需要經過第三方服務器進行轉發的網絡傳輸方式，這里說到的EasyNTS智能云組網的網絡穿透是采用的服務轉發方式的穿透，穿透率100%，我們稱這種功能為云組網。只要EasyNTS云終端設備能連接到EasyNTS云組網，就可以建立起設備的云端組網，將設備的所有網絡能力在云端得到發布。動態組網服務按照EasyNTS智能云組網網絡穿透的原理，數據的穿透實際采用的是EasyNTS智能云組網云端服務進行的網絡數據轉發，并且所有的數據都會經過EasyNTS智能云組網服務器進行中轉傳輸，而且在EasyNTS智能云組網對外發布內網每一臺設備的每一種網絡能力時（例如HTTP、RTSP、SSH、Telnet、RDP等），需要為每一臺設備都專門分配開通公網端口，單臺EasyNTS如果需要組網1萬臺設備服務，那么就需要EasyNTS云服務器同時開放1萬個端口對外，但是大部分情況下，例如我們的云端遠程控制功能，只有每次需要遠程ssh、telnet或者rdp的時候才需要開放端口，常態下是只要保持EasyNTS智能云組網服務與EasyNTS智能云終端的連接就可以了，于是，EasyNTS根據這種需求原則，基于MQTT加密協議研發出了EasyNTS動態組網的功能，在某些應用場景下，設備不需要開放端口時，只需要保持心跳連接，讓EasyNTS智能云組網服務器能向EasyNTS智能云終端發送指令即可，一旦需要開放任意端口，EasyNTS智能云組網服務會向EasyNTS智能云終端發送端口組網的指令，在瞬時間內立即組網穿透成功，并在EasyNTS智能云組網服務端形成設備云端能力對外發布。遠程運維功能基于上述的“網絡穿透”和“動態組網”的功能，充分發揮EasyNTS智能云組網服務的能力，應用于各種各樣的應用場景，可以將EasyNTS理解為PaaS(Platform-as-a-Service：平臺即服務)能力，同時，我們基于EasyNTS本身的能力，也做了一些SaaS（Software-as-a-Service：軟件即服務）方面的擴展，我們可以直接在EasyNTS智能云組網的后臺，通過ssh/telnet/rdp等方式直接遠程控制設備，同時，基于這些遠程連接，可直接向EasyNTS云終端設備傳輸文件和直接發送自定義的操作指令。0運用技術列表基于AI智能分析的視頻上云網關硬件及系統涉及多個產品，如：云組網、省級視頻聯網、視頻上云網關系統、智能物聯網服務平臺、邊緣計算、智能分析、視頻大數據等，具體見下表：主要技術運用產品產品特點相關知識成果智能組網EasyNTS智能云組網服務平臺V1.0EasyNTS智能云組網服務平臺是一整套的智能云組網產品，用戶可集成部署在自己的硬件終端和業務系統中，也可以根據需求直接配置在終端網絡現場，實現智能接入與智能管控、動態組網、遠程運維、文件傳輸、遠程指令調用等功能，從終端到云端，

形成了一整套的云組網解決方案，極大地解決現場無固定IP、端口不開放、系統權限不開放等問題；EasyNTS智能云組網服務平臺具有強大的服務器群組網能力，可以按需選擇需要組網的網絡成員實現點點互聯、智能動態組網等技術特點。軟件著作權：1個證件號：2019SR0780934視頻接入EasyDSSEasyDSS流媒體解決方案采用業界優秀的流媒體框架模式設計，服務運行輕量、高效、穩定、可靠、易維護，支持RTMP直播、RTMP推送、HTTP點播、HTTP-FLV直播、HLS直播，并支持關鍵幀緩沖，畫面秒開等多種特性，能夠接入Web、Android、iOS、H5、微信等全平臺客戶端，是移動互聯網時代貼近企業點播/直播需求的一款接地氣的流媒體服務器，配套OBS、EasyRTMP等直播推流工具以及EasyPlayer等網絡播放器，可以形成一套完整的視頻直播、錄播解決方案，滿足用戶在各種行業場景的流媒體業務需求。軟件著作權：3個證件號：2018SR197280軟著檢測：1個編號：ASTC2018010490編號：ASTC2018010873EasyGBS流媒體平臺EasyGBS流媒體服務器提供的流轉發服務，負責將GB28181設備/平臺推送的PS流轉成ES流，然后提供RTSP、RTMP、FLV、HLS多種格式進行分發，實現web瀏覽器、手機瀏覽器、微信、PC客戶端等各終端無插件播放。同時，EasyGBS流媒體服務器對外提供HTTPAPI接口，通過接口可以獲知流媒體轉發服務的運行狀態信息，轉發會話信息，服務器配置和版本信息等。軟件著作權：1個證件號：2018SR891598視頻大數據EasyNVS視頻綜合管理平臺EasyNVS視頻綜合管理平臺是一套以視頻為核心的物聯網大數據智能調度與管控平臺，主要面向多個行業應用，比如能源環保、智慧工地、電力等行業，是以視頻基礎平臺為核心，融合了前端各種傳感器數據的采集，包括后端的大數據智能分析（開關輔助識別、安全帽輔助識別、電力巡線檢測等），形成的一套視頻大數據平臺；EasyNVS視頻綜合管理平臺主要有覆蓋面廣、兼容性強、數據分析處理及時、聯動預警機制完善、架構可擴展性高等技術特點。軟件著作權：1個證件號：2019SR1057002TSINGSEE視頻開放平臺TSINGSEE視頻開放平臺是一個可以為多種行業產品提供視頻能力解決方案的綜合PaaS平臺，TSINGSEE開放平臺包含了視頻各個行業所需的視頻分析算法、智能語音算法、視頻中間件、視頻SDK、視頻分析工具的能力開放平臺，用于整個流媒體音視頻領域，在工業與物聯網、公安安全與交通、廣電與通信、能源與環保等領域具有廣泛應用；TSINGSEE視頻開放平臺具有覆蓋面廣、兼容性強、數據分析處理及時、聯動預警機制完善、架構可擴展性高等技術特點。軟件著作權：1個證件號：2019SR1056994視頻對講EasyRTC視頻通話軟件EasyRTC視頻通話軟件是一款覆蓋全球的實時音視頻通話與會議軟件，結合了智能視頻、智能語音、窄帶傳輸、通道加密、數據加密等技術，可通過微信小程序、H5頁面、APP、PC客戶端等接入方式之間互通，

快速從零開始搭建實時音視頻通信，支持一對一、一對多等視頻通話，滿足語音視頻社交、在線教育和培訓、視頻會議和遠程醫療等場景；支持多終端接入方式之間互通，快速從零開始搭建實時音視頻通信平臺；

EasyRTC視頻通話軟件可以具有實時音視頻通話，支持語音會議、視頻會議、會議錄像、會議回放、旁路直播等技術特點

。軟件著作權：1個證件號：2019SR1057014視頻會議EasyRTS應急指揮管理平臺EasyRTS應急指揮管理平臺是一套指揮調度平臺，也是以視頻為主，結合無線通信，這里的無線包含公網、LTE專網、自組網還有海事衛星等通訊手段，在保證應急的情況下通訊暢通，結合平臺集群調度、視頻智能調度、智能語音調度以及地圖調度等功能，可以實現任務下發等一系列調度功能。另外，平臺可以和現有的會議系統做一個融合，實現視頻的會商調度；EasyRTS應急指揮管理平臺具有窄帶通信能力強、視頻智能分析速度快、智能語音交互友好、融合性強等技術特點。軟件著作權：1個證件號：2019SR1056989智能識別EasyDSS-Kernel高性能流媒體服務軟件V1.0EasyDSS-Kernel高性能流媒體服務軟件是一款應用于AI視頻識別分析智能邊緣計算設備中的流媒體視頻服務軟件，EasyDSS-Kernel高性能流媒體服務軟件不僅是一款集成了AI人工智能的移動偵測、人臉檢測、區域監測算法，而且具有標準RTSP/Onvif/GB/T28181協議接入功能的視頻服務軟件，EasyDSS-Kernel提供一站式的視頻智能轉碼、點播、直播、錄像、檢索、時移回放的AI視頻服務；EasyDSS-Kernel高性能流媒體服務軟件具備架構可擴展性高、協議兼容性強、穩定性高、操作簡單、檢測及時、智能分析速度快、傳輸可靠保障性高等技術特點。軟件著作權：1個證件號：2019SR0777379智能預警EasyRTMPLive視頻轉換服務軟件V1.0EasyRTMPLive視頻轉換服務軟件是包含在視頻分析設備中的一套邊緣計算型RTMP流分析軟件，應用于車載終端中對駕駛員、危險品、乘客行為管控的智能分析與實時上報預警軟件，包括基礎人臉、車牌的特征提取算法，危險品的識別算法，還有針對不同類型車輛、車種特定的算法，比如司機的安全帶檢測、乘客人員異常舉動檢測、疲勞駕駛檢測等。EasyRTMPLive視頻轉換服務軟件具有軟硬結合性強、視頻智能分析檢測速度快、預警機制全面、軟件運行穩定性高等技術特點。軟件著作權：1個證件號：2019SR0777639邊緣計算EasyEdge智能邊緣計算平臺V1.0EasyEdge智能邊緣計算平臺是一套針對安防場景：如平安城市、城管、安檢、環保等安防可視化需求的，結合無線圖傳、人工智能的算法的RTSP協議接入網關軟件，是專為適配邊緣側設備打造的一款輕量級物聯網操作系統，具備工業協議解析、數據過濾和分發等核心功能，具有跨平臺、易使用和二次開發等特點。軟件著作權：1個證件號：2020SR0029121智能分析EasyRTSPServer安防視頻智能服務軟件V1.0EasyRTSPServer安防視頻智能服務軟件由一套穩定、高效、可靠、多平臺支持的RTSP流媒體智能服務軟件，支持多種音視頻編碼格式，適用于手機視頻服務，桌面視頻服務，攝像機視頻服務，通過該視頻服務可以進行多種行業應用場景類型視頻的智能分析，例如人臉分析、人臉比對、安全帽分析、車輛分析、行為分析等等；EasyRTSPServer安防視頻智能服務軟件具有兼容性強、穩定性高、操作簡單、分析速度快等技術特點。軟件著作權：1個證件號：2019SR0778638EasyStreamClient視頻客戶端軟件EasyStreamClient視頻客戶端軟件是一款進行標準音視頻流協議交互和智能分析的客戶端軟件，主要面向的是互聯網類直播的實時視頻分析鑒黃與語音言論管控，功能是將實時直播的互聯網視頻進行人工智能的視頻分析，鑒別出違法、色情等視頻信息；對實時直播的語音進行文字轉義，對敏感字樣進行分析預警，提供和上報到第三方平臺接口；EasyStreamClient視頻客戶端軟件具有兼容性強、接入面廣、接口機制全面、視頻識別速度快、語音/文字轉換準確等技術特點。軟件著作權：1個證件號：2019SR1057020EasyIVS視頻智能分析軟件EasyIVS視頻智能分析軟件是一款基于邊緣接入節點和視頻接入技術，面向監控設備提供統一開放的視頻流接入、處理和分發服務。把視頻內容接入云端，進行存儲、錄制回看、全網分發。同時與智能視覺、視頻計算系統、機器學習平臺、生態合作伙伴能力集成，快速構建利用計算機視覺和視頻分析的應用程序和智能監控解決方案。軟件著作權：1個證件號：2020SR0027611視頻上云EasyCVS省級視頻聯網云平臺EasyCVS省級視頻聯網云平臺是一套視頻綜合管理平臺，負責集中管控下轄的所有視頻接入上云網關，并做基本的設備管理、直播管理、設備控制（云臺、雨刷、聚焦等）、錄像管理、用戶管理、Token管理等，并作為一種視頻能力平臺對外提供視頻能力，包括對交通部的部級視頻云平臺提供能力服務，同時也會主動級聯接入到部級視頻云平臺，接受統一管控；軟件著作權：1個證件號：2020SR0027604EasyCVR視頻上云網關軟件EasyCVR視頻上云網關軟件是一套視頻接入上云網關，類似于我們的EasyNVR智能云終端，主要的工作是做視頻設備的接入，例如視頻攝像機IPC、數字硬盤錄像機NVR，是一種網關的角色，承上啟下連接省級視頻云平臺與高速公路現場設備，不涉及具體業務。軟件著作權：1個證件號：2020SR0035132EasyIOT智能物聯網服務平臺EasyIOT智能物聯網服務平臺提供了一站式的設備接入、設備管理、監控運維、數據流轉、數據存儲等服務，數據按照實例維度隔離，可根據業務規模靈活提升規格，具備高可用性、高并發、高性價比的特性，是企業設備上云的首選。軟件著作權：1個證件號：2020SR00283573.3.2系統軟件設計云管控平臺指令對接接口攝像機信息統一管理云視頻平臺要對各分公司視頻的攝像機信息做統一的管理，這些攝像機信息來源于上云網關設備實時地將各分公司視頻的攝像機信息通過接口的上報接口管理推送視頻上云網關設備要具體推送的視頻圖像是由云視頻平臺通過接口向其指定的，通過接口，指定攝像機圖像開始推送以及停止推送設備狀態管理上云網關設備需定期地向云視頻平臺做狀態上報，以便云視頻平臺能及時了解上云網關設備的當前系統狀態和負載情況云管控平臺指令接口定義攝像機信息注冊/修改接口接收數據上報方提供的攝像機列表信息，如果攝像機存在則對信息進行修改，否則新增。該接口可以一次上報多條攝像機信息接口和訪問形式：http://[ip:port]/bms/service/video.VideoInformation?token=[xx]攝像機信息刪除接口接收數據上報方提供的刪除攝像機編號，刪除攝像機信息。該接口支持一次性刪多個攝像機信息接口和訪問形式：http://[ip:port]/bms/service/video.VideoInformationDel?cameraNum=xx,xx&token=xx視頻推送開始接口平臺通知上云網關設備開始啟動指定的攝像機視頻推送，視頻上云網關設備處理后，向平臺返回處理結果接口和訪問形式：http://[ip:port]/bms/service/video.VideoTransBegin?cameraNum=xx&token=xx&videotype=1視頻推送停止接口平臺通知上云網關設備停止指定的攝像機視頻推送，視頻上云網關設備處理后，向平臺返回處理結果。推薦每次只停止一路接口和訪問形式：http://[ip:port]/bms/service/video.VideoTransFinish?cameraNum=xxxx&token=xx&videotype=1視頻上云網關設備狀態上報由視頻上云網關設備向平臺上報狀態信息使用，上云網關設備根據運行狀態，實時上報運行中所遇到的異常或狀態內容。發送頻率每秒不超過3條。平臺收到上報內容后，需要對上報內容做出回應，并記錄上報內容。上報的攝像機推流狀態可以有多個。接口和訪問形式：http://[ip:port]/bms/service/video.TransStatusReport?pcTranscodID=xx&token=xx轉碼服務軟件統一媒體數據格式根據客戶端終端設備能力生成符合其解碼播放的媒體數據。以實現不同客戶端終端順利解碼播放根據客戶端終端網絡狀況，調整媒體數據的分辨率，幀率以適應不同的網絡通信要求。輸入&輸出媒體數據接口上云網關設備中集成的轉碼服務軟件通過多種多媒體國際標準網絡協議接口從外部獲取需要轉碼的媒體數據，將轉碼之后的媒體數據通過多種多媒體國際標準協議推送到外部標準編解碼算法國際成熟的標準編解碼算法，可以適應不同的硬件平臺，方便嵌入式移植。流媒體軟件多媒體轉發通信平臺核心軟件負責各類監控設備的實時視頻、歷史回放視頻等的復制轉發與接入控制。實現不同的客戶端可以隨時隨地調看前端多種不同設備多媒體數據，實現單播復制轉發，組播流轉單播復制分發。多樣化私有協議&標準因特網多媒體通信協議支持多媒體國際標準，靈活性和適應能力強，滿足多媒體融合需求，方便對不同種類的客戶端提供多媒體服務國際標準接口跨平臺技術軟件全部基于標準的C/C++語言編寫，可以在不同的CPU平臺上編譯運行，可以非常容易的部署于各種高可靠性的嵌入式硬件設備中。3.3.3上云網關硬件設計產品設計視頻上云網關設備及系統主要分為兩大部分，硬件部分和軟件部分。硬件部分主要是視頻現場部署的終端節點的硬件組成，在硬件設計之前，我們需要對整個系統的研發有個整體的設計，這樣就需要我們做大量前期準備工作。包括前期的功能設計，芯片選擇等等。還需要考慮到功耗，產品的體積，部署的簡易性，網絡天線的安裝位置，安置的方式等方面。根據現在的具體情況應該考慮到以下特點：（1）放置在需要開闊干燥的區域，遠離強信號干擾；（2）工作溫度：0～+60度；（3）相對濕度：小于80%RH；（4）工作電壓：電源適配器輸入電壓交流100-220V，輸出電壓直流9V；（5）系統功耗：小于10W。(根據工作環境場強的不同稍微有所不同)；（6）7*24小時不間斷穩定運行。根據以上特點，該設備應該具有實時不間斷視頻采集、多通道接入、視頻智能分析、數據保存與管理、視頻參數云端上報、智能語音交互、監測報警等功能特點。系統結構及總體方案該設備的方案設計以微處理器為核心，使用各種GPU計算芯片、檢測芯片、語音交互模塊、操作系統模塊、網絡模塊、4G模塊等組成。通過網絡采集的視頻數字信號，再經過GPU超強的視頻編解碼技術與人工智能的視頻分析技術，形成特定條件的人臉、行為、邊界區域等特征值，最后經過軟件程序的判斷，實現分析預警的過程，當監測出有異常時，智能視頻上云網關設備將異常信號發送至云端集中管控平臺。該設備能夠實現現場設備狀態、人流量情況、車流量情況、邊界區域作業人員情況、人員行為規范等諸多參數值的實時上報。硬件安裝要求單一機柜部署所有與數據上云相關的設備，需要安裝在同一個機柜中網絡接入要求視頻接入網關設備需要接入省部級業務平臺的監控網，同時需要接入數據上云的運營商寬帶網絡，以實現將監控中心的監控網段視頻接入轉碼并推送至視頻云平臺電源接入要求由于視頻上云網關設備轉碼計算量大，需要高功率的機房標準電源支持，以保障至少500W以上的視頻接入網關設備的用電負荷設備安裝順序要求上云的設備從下而上分別是網絡設備（電信光貓、路由器、交換機等）、視頻上云網關設備等順序安裝設備安裝間距要求設備的上下設備間距1U以上以保障設備及時散熱，延遲設備使用壽命硬件設備的調試本項目建設的視頻上云網關設備不是自成體系的獨立設備，是需要與上級信息中心的管控平臺實現指令控制、狀態推送等等，因此調試的工作主要為對接的工作，具體工作內容說明如下：視頻上云網關設備的網絡調試，網絡需要同時聯調公有云資源（阿里云、騰訊云）以及監控中心視頻監控內網，通過配置靜態路由方式進行多網絡通信，最終實現視頻數據上云的網絡架構將該視頻上云網關設備信息向控股信息中心的云控平臺注冊，以通知其設備上線，方便后續的攝像機列表推送、資源推送、狀態推送以及控制指令的執行監控視頻的點位信息采集，包括監控點位的名稱、GPS坐標、IP地址、端口號、用戶名、密碼、方向、線路號、視頻平臺內的唯一標示等等信息將第三條采集到的監控點列表信息向中心云控平臺推送注冊，以達到視頻圖像資源共享最終實現視頻數據上云接收來自控股信息中心指令信息按照視頻上云的接口協議要求，進行相應的推送控制包括啟動推流、停止推流、狀態推送、指令認證、編碼參數調整等等，最終實現視頻數據上云3.4研發重點3.4.1基于AI智能分析的視頻上云網關軟件設計基于AI智能分析的視頻上云網關軟件是基于WebStorm、GoLand、VSCode、IntelliJ

IDEA、Visual

Studio開發工具，SQLite、MySQL數據庫系統，來實現能在多種系統平臺上穩定運行的應用。中間件架構軟件采用中間件架構設計，滿足系統開放式接入和應用體系要求，基于標準設計框架，能夠運行于多種硬件平臺和操作系統之上，支持分布計算，提供跨網絡、硬件平臺和操作系統的透明性的應用或服務的交互，支持標準的協議和接口，能夠快速支持各類設備的接入。分布式體系架構軟件將采用分布式架構設計，管理控制、流媒體和存儲均采取分布式架構，下級如建設分中心平臺，則各下級節點的穩定性不依賴于總控中心，單臺可自成系統，多臺互聯可形成更大的系統，每個系統節點都可實現區域自治，任何一個節點的故障都不會影響到其他節點。1）設備層設備層的設備主要包括攝像機設備、控制解碼器、云臺、網絡視頻編碼器等。它是整個系統的信號源，由它產生視頻信號，然后通過網線、編碼器等設備將信號傳輸到平臺上。2）能力層能力層負責視頻轉分發、視頻存儲、報警轉發、矩陣解碼控制、設備控制信令轉發，以完成對前端設備的操作。能力層主要包括流媒體服務、存儲服務、消息服務、矩陣服務等。流媒體服務流媒體服務主要是用來接收來自設備層輸過來的實時視頻圖像，并轉發給多個客戶端、集中存儲服務、數字矩陣服務器進行實時圖像瀏覽，避免客戶端直接訪問前端攝像機，降低網絡流量，降低數據對網絡的占用，實現在不同網絡帶寬條件下大規模視頻流媒體傳輸的優化管理。存儲服務存儲服務提供對數字化視頻監控系統的錄像集中存儲服務，實現對多臺編碼器傳輸過來的實時視頻圖像在監控中心進行集中錄像功能的綜合管理，保障大規模長時間視頻存儲系統的可靠性和穩定性，支持中心專業存儲設備（如IPSAN磁盤陣列機）視頻流寫入。消息服務主要用于接收前端設備接口報警信息、事件內容、狀態變化等信息，對不同類型的前端設備發出操作指令和控制信息，兼容各個子系統不同類型的通信方式和多種通信格式，它相當于翻譯的角色。通過建立起一套統一的消息體系，利用先進的XML語言，在各個前端采集設備的響應之間建立起一座互連互通的橋梁。各個前端采集設備按照統一的標準接口通過消息服務器與中心平臺進行信息交換和控制信令交換。矩陣服務矩陣服務可實現多路高清視頻信號輸出，同時提供手動切換、自動切換、分組切換、定時切換等多種切換方式，并且可以輸出多畫面分割圖像。不僅滿足用戶對電視墻監看的需求，同時降低系統造價。3）展現層展現層承擔事物處理的中間環節，負責和控制數據庫操作，接受和處理客戶端請求，負責系統的業務邏輯處理以及提供各類應用服務。應用層主要包括了中心管理服務、WEB服務。中心管理服務中心管理服務器實現整個視頻平臺的站點架構、用戶管理、設備配置、存儲設置、信息查詢等功能，提供用戶管理與權限管理雙向模式、界面的一站式管理、全面的權限管理，滿足多級別組織中架構管理、權限分配、設備定義、設備配置、錄像設置、報警記錄、用戶操作、錄像查詢等管理功能，并提供WEB方式通過IE瀏覽器實現遠程配置和管理。同時它具有電子地圖管理功能：包括電子地圖的信息應分層提供，電子地圖應能夠逐級放大及縮小地圖顯示。WEB服務WEB服務主要是給訪問客戶提供更為方便快捷的訪問方式，用戶無需安裝任何監控軟件，即可實現通過瀏覽器方式的實時遠程監控，可將分布在不同地點的攝像機集中管理，分散在網絡中不同地點、不同使用權限的用戶可同時監控同一現場，也可以任意選擇其他監控現場，各用戶監控不受影響，在Web瀏覽方式下，同樣能控制攝象機和云臺等控制對象，也可以同時實時監控多個圖像管理子系統的視頻圖像。3.4.2基于AI視頻智能分析視頻人工智能方面，僅學習數據是不夠的。由于搜集到的各種視頻數據是不成體系的，會造成較高的維護成本，于是我們構建了一套大數據知識庫自學習體系。主要分為三個模塊：1、視頻結構化模塊：把視頻結構化、組件化，把OS層要素和分割定位工作全部做完，把較大的圖片和視頻變成了隨時可被提取的小組件。我們很形象地把它叫做樂高。2、知識圖譜模塊：通過關聯知識圖譜中的政治人物，我們能快速將對應的人物導進視頻中。3、海量檢索的大數據檢索系統：與傳統主要針對文本內容的檢索系統不同，我們的產品涉及人物特征、人臉特征、圖像特征、視頻特征，而特征上會有更復雜的系統結構。所以系統不僅支持普通的全文檢索，還可以在富媒體數據，包括視覺特征基礎上能夠做檢索。3.4.3基于AI的智能語音智能語音方面，針對嵌入式人機語音交互系統的實用性需求，在噪聲魯棒性、解碼器和置信度、語音模糊檢索等關鍵核心技術進行了一系列創新。我們進行了很大程度上的創新，包括：1、研發了一種綜合考慮加性噪聲和信道畸變的模型補償算法，以改善語音交互系統中識別前端的噪聲魯棒性問題。在該算法中，我們先使用語音中的靜音段來估計加性噪聲，接著結合EM算法聯合估計信道函數，最后基于上述估計的表征加性噪聲和信道函數的相關參數，在倒譜域上對失配的聲學模型進行聯合補償。該算法使得嵌入式語音識別系統在噪聲環境和信道失配場景下的識別效果均取得顯著提升。此外，該算法具備動態跟蹤環境變化的特性，其效果和實用性一致優于CMN規整、MLLR自適應等傳統的語音識別噪聲魯棒性算法。提出了一種綜合考慮加性噪聲和信道畸變的模型補償算法，以提高嵌入式識別系統的魯棒性；2、另一方面，智能語音算法中我們采用了一種基于語言模型校正機制的語音識別解碼算法和一種基于音素聚類子空間的置信度判決算法，以緩解因為運算資源受限而無法在嵌入式設備上進行較復雜語音識別任務的問題。具體來說，我們在所提出的識別解碼算法中，用基于單樹詞典的搜索算法替代傳統的樹狀詞典拷貝算法，以改善傳統算法導致的搜索空間隨詞典規模指數級增長的效率問題，并進一步在樹狀詞典的各節點處進行語言模型得分的校正處理，以恢復單樹詞典所產生的搜索錯誤，該方法最終在不影響識別性能的前提下使得解碼算法復雜度降低了一個數量級。另一方面，本文提出的置信度改進算法主要針對識別后端的結果確認模塊，該算法基于KL度量對原始音素全空間進行“自下而上”方式的聚類，最終獲取信息量幾乎不損失、且更加緊致的音素子空間，并基于音素聚類子空間來估計置信度得分的規整項，在基本不影響置信度性能的前提下，同樣使得其運算復雜度獲得了顯著下降。提出了一種基于語言模型校正機制的語音識別解碼算法和一種基于音素聚類子空間的置信度判決算法，顯著改善了語音識別在運算資源受限的嵌入式設備上運行的實用性問題；3、探索出了一種語音模糊檢索的系統解決方案，以滿足用戶對千萬量級以上文本列表集進行語音查詢的典型需求。該方案綜合了二級倒排索引、分塊動態規劃、識別重排序等核心算法并分別對其進行針對性改進，最終在響應實時的前提下，使得用戶只需要輸入檢索文本列表中的片段、縮略或者其跨序組合即可將與之關聯的備選結果查詢出來。運用該方案的實用化系統在支持用戶以自由語音方式進行輸入的同時，具備了相當高的檢索性能，明顯改善了人機語音的交互體驗。一種語音模糊檢索的系統解決方案，明顯改善了用戶基于海量文本列表進行語音查詢的交互體驗。3.4.4實時視頻分析視頻上傳到云端后，通過消息服務通知云端流媒體服務器，獲取視頻后進行指定的視頻分析，并把視頻分析結果實時通知用戶。智能的云視頻分析系統，可以有效的避免信息遺漏、使各種高危風