智能剖析視頻監控系統設計方案2015-101目錄一、系統歸納...................................................................................................................................4二、系統優勢...................................................................................................................................5三、應用途景...................................................................................................................................6四、系統設計...................................................................................................................................74.1歸納...................................................................................................................................74.2技術特點............................................................................................................................7技術大綱..................................................................................................................7人臉抓拍技術..........................................................................................................8人臉鑒別技術..........................................................................................................94.3系統構造..........................................................................................................................10系統組網................................................................................................................104.4人像系統功能...................................................................................................................11人臉檢測抓拍........................................................................................................11自動鑒別性別.......................................................................................................11圖像記錄防篡改功能...........................................................................................11高清錄像功能.......................................................................................................11數據積蓄功能.......................................................................................................12數據FTP傳輸與斷點續傳功能...........................................................................12遠程系統管理保護功能.......................................................................................12五、后端管理平臺.........................................................................................................................135.1系統框架...........................................................................................................................135.2后端服務器簡介...............................................................................................................135.3客戶端功能介紹...............................................................................................................15功能架構...............................................................................................................15客戶端主要功能介紹.........................................................................................視頻播放.....................................................................................................歷史視頻盤問.............................................................................................圖片和事件信息顯示.................................................................................圖片和事件關系視頻盤問.........................................................................建立重要案事件視頻庫.............................................................................黑名單布控報警........................................................................................模糊圖像辦理.............................................................................................系統設備狀態監測....................................................................................17六、系統應用.................................................................................................................................176.1人臉抓拍應用..................................................................................................................176.2人像比對應用..................................................................................................................1826.3條件檢索應用196.4視頻關系人臉應用196.5黑名單布控應用203一、系統歸納“人車抓拍卡口系統”的出現，使對車輛和人員的監控實現實時報警成為了可能，不只好夠對車輛進行監控管理，而且同時對人員進行了有效監控管理，關于城市中心地域、城市城中村及中小城市的治安管理系統建設更擁有現實作用和意義。同時該系統在系統上實現了無效數據的障蔽進而能夠有效地降低中心積蓄的壓力，該系統的數據采集方式能夠實現多級檢索，大大提高了系統的使用效率、節約了盤問時間、減少了警力的占用。該系統響應了公安部的要求，切合當前實質的需要，擁有時效性及高科技的特點，減少了大系統建設的后顧之憂，必然在實行后成為公共安全的得力助手，達到“科技強警”的目標。4二、系統優勢1、視頻觸發，應用靈便、方便，不需要破路埋設線圈，系統建設簡單、維護方便。2、前端采用高清一體網絡攝像機作為圖像采集設備，成像質量高達300萬像素，圖片質量高。一臺高清攝像機可實現對車輛的抓拍、完成號牌鑒別、行人抓拍、視頻記錄。設備組成簡單，系統建設、應用簡單，工控機用作前端積蓄。3、系統支持后期人臉比對擴展功能，可將前端抓拍人像與人像庫進行實時比對，當比對相似度達到必然閥值，則會自動報警。也支持遺留物檢測、固定物檢測等擴展功能。4、能夠實現對重點地域同時供應高清的人像照片、車輛照片和有效高清視頻錄像，實現對重點地域的全天候、大范圍的管理要求，提高了管理水平，在一定程度上極大的制止了非法行為的發生，同時也為相關安全部門的檢查取證創立了條件，為后期的案件辦理供應可靠、有效的線索和依照。5、當先的車牌鑒別技術：正確率很高，車牌鑒別種類齊全，可正確鑒別車牌字體和車牌底色。6、系統操作簡單、人機界面友好，易于保護。7、多目標系統對地鐵出入口的廣場進行一個全局的監控和細節目標的檢測追蹤。8、人群密度統計，對廣場所區人群密度進行剖析統計，已4種顏色表示密度，但密度高出設定值，馬上進行報警。5三、應用途景當前本系統主要應用在以下幾個方面：地鐵站、機場、車站、高速路收費站、城中村、小區等重要的出入口；公路卡口點、社區、景區、工業園區、政府、軍隊等場所；6四、系統設計4.1歸納系統是我司自主開發設計的新一代智能卡口系統，同時擁有車輛監控管理和人員監控管理功能。它交融了多項專利技術，交融先進的計算機視覺技術、高清視頻圖像辦理和神經網絡等重點技術于一體，結合網絡和自動控制技術，利用高清楚一體攝像機做檢測傳感器，對進入鏡頭的過往車輛、人員進行實時抓拍，攝像機內置軟件進行剖析辦理。它既可進行當地獨立工作，也可聯網組成一個興隆的安防系統。同時結合多目標系統和人群密度統計剖析系統，對廣場所區進行一個全覆蓋的監控以及對人群密度的剖析統計。4.2技術特點4.2.1技術大綱系統構造簡潔，高度集成化，前端高清一體攝像機采集車輛、人臉圖片；攝像機內置軟件完成剖析、鑒別，擁有高度集成性，有效降低使用與保護成本。可針對性全捕獲靈便車、人像，實現過往目標的全面管控。夜間智能補光，白天無逆光，全天候清楚成像。號牌鑒別平均有效率，在車牌圖像滿足國標要求120像素—180像素的情況下，鑒別率可達到95%。鑒別車牌大小范圍可達到70像素到250像素；鑒別車牌亮度、比較度動向范圍大。人臉抓拍大小范圍可達到80像素到500像素。正確率高達92%。當先的傾斜車牌鑒別技術，支持鑒別車牌必然程度的傾斜，傾斜30°以內。系統具備高清錄像功能，錄像的幀率30Fps/秒。74.2.2人臉抓拍技術人臉檢測是指關于隨意一幅給定的圖像，采用必然的策略對其進行搜尋以確定其中可否含有人臉，若是是則返回人臉的地址、大小和姿態。人臉抓拍的實現需要人臉檢測算法作為支撐，判斷圖像中可否存在人臉。這一項技術最初陪同人臉識其他研究而漸漸發展。人臉檢測是人臉鑒別智能系統中特別重要的一個環節，只有第一保證人臉抓拍圖像的高效率、高質量，才能在人臉鑒別系統中做好優異鋪墊。在其他領域也能夠用來作為輔助手段，比方，公安機關案件偵探、監控系統輔助抓拍等。人臉檢測是一個復雜的擁有挑戰性的模式檢測問題，其主要的難點有兩方面，一方面是由于人臉內在的變化所引起：人臉擁有相當復雜的細節變化，不一樣樣的面貌如臉形、膚色等，不一樣樣的表情如眼、嘴的開與閉等；人臉的遮擋，如眼鏡、頭發和頭部飾物以及其他外面物體等；其他一方面由于外在條件變化所引起：由于成像角度的不一樣樣造成人臉的多姿態，如平面內旋轉、深度旋轉以及上下旋轉，其中深度旋轉影響較大；光照的影響，如圖像中的亮度、比較度的變化和陰影等。圖像的成像條件，如攝像設備的焦距、成像距離，圖像獲得的路子等等。這些困難都為解決人臉問題造成了難度。若是能找到一些相關的算法并能在應用過程中達到實時，將為成功構造出擁有實質應用價值的人臉檢測與追蹤系統供應保證。外國對人臉檢測問題的研究很多，比較出名的有MIT,CMU等；國內的清華大學、中科院計算所和自動化所、南京理工大學、北京工業大學等都有人員從事人臉檢測相關的研究。而且，MPEG7標準組織已經建立了人臉鑒別草案小組，人臉檢測算法也是一項采集的內容。隨著人臉檢測研究的深入，國際上宣告的相關論文數量也大幅度增添，如IEEE的FG、ICIP\CVPR等重要國際會議上每年都有大批關于人臉檢測的論文，據相關人臉研究論文的1/3之多。由此能夠看到世界對人臉檢測技術的重視。人臉檢測算法種類很多，當前國內常用的人臉檢測算法，總的來說主要有子8空間法(PCA、ICA)、神經網絡法、SVM、haar/hog/LBP+AdaBoost方法，并將該方法用于其他方面的檢測，比方多視角的人臉檢測,以上研究代表了目先人臉檢測研究的最高水平。但常用的這些算法主要包括檢測速率較慢以及魯棒性差易受環境變化而檢測奏效較差等缺點，而難以很好的應用于實質的系統之中。當前，我們采用的是最新的檢測技術，歸一化像素差分法(NormalizedPixelDifference)或NPD，其特點公式以下：f(x,y)

xyxy該方法特點描述相對簡單，計算復雜度也比其他算法低很多，在檢測奏效以及檢測速度上是其他算法無法比及的。當前算法經過對大批正負樣本進行特點提取、機器學習而實現，關于實質應用途景中人臉偏轉角度小于30°以內的人臉都能正確快速的檢測，我們經過對200萬包括正負樣本的測試樣本集進行查驗，其中FRR（漏檢率）能夠達到0.01%（萬級別），FAR（誤檢率）能夠達到0.001%（十萬級別），關于大小為640*480的圖片，檢測平均速度能夠達到70ms，在國內處于頂尖水平。4.2.3人臉鑒別技術人臉鑒別，是基于人的臉部特點信息進行身份識其他一種生物鑒別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和追蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術，平時也叫做人像鑒別、面部鑒別。人臉與人體的其他生物特點（指紋、虹膜等）相同與生俱來，它的唯一性和不易被復制的優異特點為身份鑒別供應了必要的前提，與其他種類的生物鑒別比較人臉鑒別擁有以下特點：非逼迫性：用戶不需要特意配合人臉采集設備，幾乎能夠在沒心識的狀態下即可獲得人臉圖像，這樣的取樣方式沒有“逼迫性”；非接觸性：用戶不需要和設備直接接觸就能獲得人臉圖像；并發性：在實質應用途景下能夠進行多個人臉的分揀、判斷及鑒別；除此之外，還切合視覺特點：“以貌識人”的特點，以及操作簡單、結果直觀、隱蔽性好等特點。人臉特點點提取是指對給定且已經對齊的人臉圖片自動的計算出經過抽象9且帶有種類劃分性以及類間劃分性的特點。人臉特點的利害是整個人臉鑒別中最重要因素。相似性計算是指計算數據庫中模板人臉與當前抓怕人臉的距離，取一定閾值的距離來作為判斷同一個人的依照。人臉對齊是指經過給定的人臉地域自動的計算出人眼睛，鼻子，嘴巴以及臉部輪廓的地址，計算出人臉偏轉的角度今后自動的把人臉更正到正臉地址。人臉對齊的正確性是影響人臉比對成功率的一個重要因子。我們使用了基于深度學習的人臉鑒別算法，整個訓練集達到10萬人次總計800萬訓練樣本。在LFW人臉鑒別數據庫上，實現了99.2%以上國內頂尖的正確率。4.3系統構造4.3.1系統組網系統由前端信息采集抓拍子系統、網絡傳輸子系統和后端平臺組成。實現對通行車輛信息的采集、傳輸、辦理、剖析與集中管理，亦實現對過往行人的人像采集、辦理、剖析等。（1）前端信息采集抓拍子系統前端攝像機實現對車輛、人像綜合信息的采集，包括車輛特點照片、車牌號碼與顏色、車身顏色、過往人像面部特點等。攝像機內置軟件完成圖片信息鑒別、據緩存以及網傳等功能。工控主機用作數據積蓄。（2）網絡傳輸子系統完成系統數據信息的傳輸與交換。可經過FTP方式將車輛圖片、人臉圖片、車輛行人經過信息（時間、地址、車牌號碼、車身顏色等）、設備監測數據等上傳到中心管理系統。（3）后端平臺完成數據信息的接入、比對、記錄、剖析與共享，亦可實現盤問統計功能。由服務器安裝平臺軟件模塊組成，包括：數據庫服務器、管理服務器、應用服務器、Web服務器和時鐘服務器，圖片經過視頻積蓄服務器進行集中積蓄。其中，數據庫服務器安裝數據庫軟件保留系統各種數據信息；管理服務器安裝管理模塊負責系統綜合管理；應用服務器安裝應用辦理模塊負責數據辦理、布控、比對、報警轉發、上下級通訊等；Web服務器安裝WebServer負責向B/S用戶供應訪10問服務；時鐘服務器安裝GPS加NTP校時軟件負責全網設備一致校時。補光燈攝像機視頻監控系統平臺工控機補光燈攝像機工控機中心積蓄單元補光燈攝像機工控機管理平臺補光燈攝像機

傳輸網絡工控機客戶端前端系統網絡傳輸系統后端中心平臺4.4人像系統功能4.4.1人臉檢測抓拍在人行通道出入口架設人臉抓拍一體化攝像機，前端攝像機對經過監測地域的過往行人會自動抓拍一張人像，并會經過自主擬訂的優選策略選擇角度最正確、圖像最清楚的人臉而且截取標準人像。同時人像信息會寫入關系數據庫。人像抓拍正確率高達95%。4.4.4自動鑒別性別前端攝像機對經過監測地域的過往行人抓拍人像后，內置鑒別軟件可自動識別男女性別，并將鑒別結果經過網絡發送至后端平臺。4.4.5圖像記錄防篡改功能系統在前端攝像機對圖片進行水印加密，也就是從數據的源泉加密，防范在傳輸、積蓄、辦理等過程中被人為更正，間隔了數據篡改的可能性。圖片經過網絡傳輸到中心管理服務器，中心管理軟件自動對每一張圖片進行水印考據，以保證數據的安全性和真實性。4.4.6高清錄像功能系統在支持抓拍高分辨率圖片的同時，能實現24小時高清視頻錄像功能，分辨率不低于1920*1080。11視頻和人像、車輛信息關系，能夠經過視頻檢索到人像和車輛圖片，也能夠經過人像和車輛檢索到視頻。4.4.7數據積蓄功能系統采集的車輛圖片、人臉圖片、高清錄像等數據支持前端積蓄和中心集中積蓄。前端積蓄設備包括抓拍攝像機內置的SD卡和智能終端管理設備內置的大容量硬盤，系統在前端即可實現數據的備份積蓄功能。中心積蓄是將數據保留在位于后端中心的集中積蓄系統，如大容量磁盤陣列等。4.4.8數據FTP傳輸與斷點續傳功能系統支持多種方式的數據傳輸：可經過FTP方式將車輛圖片、人臉圖片、車輛行人經過信息（時間、地址、車牌號碼、車身顏色等）、設備監測數據等上傳到中心管理系統；也可在中心經過網絡調用或下載控制前端設備積蓄的數據。系統支持數據的斷點續傳：如因網絡中斷或其他故障，數據無法上傳至管理中心時，可暫時將數據積蓄在前端，待網絡恢復后前端積蓄設備自動上傳網絡中斷時期的數據至管理中心。4.4.9遠程系統管理保護功能系統具備故障自動檢測功能，能經過軟硬件自動檢測系統故障并恢復正常工作。擁有斷電自動重啟動、自動偵錯報錯、自動監測主要設備和主要運行軟件的工作狀態等功能。系統具備權限管理功能，能夠對不一樣樣對象分配不一樣樣種類的使用權限。系統具備日志記錄功能。可記錄主要設備、網絡狀態和主要運行軟件的工作日志，還能夠記錄設備也許網絡狀態改變（重啟、也許重新連接）、主要軟件發生重啟或故障等事件日志。系統擁有主動校時功能，24h內設備的計時誤差不高出1.0s。系統具備遠程保護及參數的設置等功能。12五、后端管理平臺5.1系統框架后端管理平臺中心業務辦理框架圖以下，數據從前端接收進來后分別由以下服務器進行辦理，今后經由客戶端進行最后的操作：5.2后端服務器簡介1）視頻積蓄服務器前端高清攝像碼流經過數字網絡傳輸，在視頻監控平臺軟件的管理下，直接傳輸至視頻網絡積蓄服務器；視頻網絡積蓄服務器內置第三方流媒體模塊和錄像模塊，實現前端攝像機的直寫錄像積蓄模式。同時視頻網絡積蓄服務器支持內置第三方回放模塊，能夠接收閱讀客戶端的回放指令并檢索歷史視頻，今后經過以太網絡發送給客戶端回放。2）數據接收服務器接收前端設備發送回來的車牌號碼、人像數據和圖片，保留到數據庫中。3）比對服務器13中間心系統的數據接收服務器收到各個監控點發送回來的車輛車牌號碼及人像后，實時地將數據進行交融存入比對服務器中，自動進行比對報警。若是比對切合，則向客戶端發送報警信息。4）智能剖析服務器實時視頻剖析：系統前端視頻剖析主機即可對多目標智能追蹤系統前端設備采集的圖像進行智能剖析，當某些監控點是一般監控設備，本系統后端管理平臺亦可支持對一般中間心系統的數據接收服務器收到各個監控點發送回來的數據后，實時地將數據進行交融存入智能剖析服務器中，智能剖析服務器會對監控數據進行剖析，能自動剖析出各種異常行為，包括非法闖入禁區檢測、異常奔跑檢測、非法逆行檢測、物品遺留檢測、行為驟變檢測、倒地檢測、打架打架、人群非法齊聚等，如剖析出行為種類，將會將結果向客戶端發出報警信息。回放視頻剖析：系統支持對原始視頻進行濃縮，實現快速的錄像檢索回放。經過設置濃縮規則，智能剖析如禁區入侵、經過絆線、人臉出現等行為，對原始視頻進行濃縮，并生成事件。滿足設定規則的視頻保留，沒有發惹禍件的視頻剔除。并支持視頻濃縮播放，對發生了擬訂規則事件的視頻正常播放，對沒有發惹禍件的視頻快速播放，詳細的播放速度能夠定制。5）客戶端顯示服務器傳回的數據辦理結果，并進行操作。145.3客戶端功能介紹5.3.1功能架構客戶端主要功能介紹視頻播放系統支持播放前端傳回的實時視頻，也可支持回聽任意時間段、隨意地址的視頻。并可依照不一樣樣的檢索方式搜尋視頻。能夠按分類選擇只有車、只有人、有車又有人的方式查察視頻記錄歷史視頻盤問系統支持盤問歷史視頻。可選擇歷史視頻對某一監控點視頻進行歷史視頻回放。第一選擇需要回放的攝像機，今后選擇回放時間段，該時間段不宜過長，最好時半小時以內，今后逐段視頻進行回放。點擊確定后，系統會把該時間段的時間片段全部取出。圖片和事件信息顯示系統支持可依照圖片盤問到對應事件的信息，并在界面上顯示事件詳細信息，如事件發生地址、時間、事件種類等。經過此功能可快速提取重點圖片方便公安刑偵人員對對應事件進行查察，快速搜尋案件線索。圖片和事件關系視頻盤問同時支持事件縮略圖閱讀，點擊縮略圖，可查察對應時間的原始關系圖片和關系小段視頻。經過此功能能夠有效較少冗余視頻，快速提取重點視頻方便公安刑偵人員對視頻進行回放，快速搜尋案件線索。建立重要案事件視頻庫監控圖像信息與案事件信息有機組織組成案事件管理業務，方便案事件信息與媒體信息、報警信息的對應關系與檢索，為大情報剖析、案事件等相關系統供應基礎資源以及組織方式。將與案件相關的重要案件視頻錄像和抓拍圖片和案件卷宗相關系，一致集中積蓄到公安案事件視頻庫中，案事件視頻資料本源于接警記錄、歷史案件視頻剖析記錄，支持經過案件重點信息進行檢索和調閱，為公安各項警務工作供應輔助研判資源和工具。黑名單布控報警系統能夠手工錄入或導入黑名單數據進行布控，中間心系統的數據接收服務器收到前端發送回來的車輛車牌號碼及人像后，實時地將數據進行交融存入數據庫服務器中，與數據庫和重點人員人像庫搜尋比對，若發現是黑名單車牌或嫌疑人，則向指定客戶端發送告警信息包，并聯動報警。真實做到嫌疑人與嫌疑車輛在城市里無立足之處。模糊圖像辦理使視頻偵探過程中細節特點更清楚，系統支持視頻圖像增強功能，可選擇突出或控制圖像中的部分特點，經過低照度增強、去噪、去模糊、去霧等功能，使圖像與視覺響應特點相般配，增強主觀奏效，使得畫面更加的易于觀看，方便公安干警更加高效的采用重點關凝望頻進行剖析。支持多種圖像辦理算法，實現對視頻、圖片的色彩、、去霧等智能辦理。支持比較度增強：支持對圖像的自動比較度增強。支持圖像去霧：支持對霧天場景進行清楚化恢復，包括輪廓清楚化、色彩還原、比較度增大等。支持圖像銳化：支持增強對象的邊緣和細節，在必然程度上起到突出輪廓、去除模糊的作用。支持亮度調整：針對圖像偏亮、偏暗、比較度過小等情況進行調整。系統設備狀態監測系統能實時檢測設備的運行狀態，一經發現設備運行異常或是死機，則會提醒工作人員注意查驗設備情況，除掉故障。六、系統應用6.1人臉抓拍應用一、對出入該監測地域的行人自動獲得清楚人臉圖片、優選并截圖。比方在小區內，我們能夠利用人臉抓拍功能進行小區的以下管理工作。1、針對需要設置預警的人員設置黑名單，在該類人員經過小區主出入口時發出預警，以便實時針對此類人員展動工作，如需催收催繳的人員；2、針對本小區居住人員，長時間未出入過小區的發出預警提示，該類人員可能需要進行上門巡邏；3、對非本小區居民出入發出提示警告。176.2人像比對應用對抓拍的人像圖片與模版庫的人像圖片進行比較，給出般配結果。模版庫的人像圖片能夠是現場抓拍圖片，也能夠是身份證里面的人像圖片。186.3條件檢索應用系統能夠對獲得的人像、車牌準時間、拍攝地址等條件進行檢索6.4視頻關系人臉應用系統能夠查察某段視頻錄像中出現的人臉、車牌圖片196.5黑名單布控應用系統可開初將車牌號碼、重點監控人像進行布控，設定為黑名單庫，前段系統捕獲車輛和人像后與黑名單庫進行鑒別比對，也能夠與中心的黑名單數據庫連接進行比對。在該類人員經過小區主出入