1、天網云存儲系統建設方案1.1存儲需求概述xx天網二期需要建設xx個高清監控點位，隨著城市防控體系系 統規模越來越大，以及高清視頻的大規模應用，對系統中需要存儲的 數據和應用的復雜程度在不斷提高，且視頻數據需要長時間持續地保 存到存儲系統中，并要求隨時可以調用，對存儲系統的可靠性和性能 等方面都提出了新的要求。面對數百tb甚至上pb級的海量視頻存儲需求，傳統的san或nas 在容量和性能的擴展上會存在瓶頸。而云存儲可以突破這些性能瓶 頸，而且可以實現性能與容量的線性擴展，這對于本項目存儲系統來 說是一個新選擇。視頻云存儲通過軟件運用集群技術、虛擬化技術、分布式存儲技 術將網絡中的存儲設備集合起來

2、協同工作，共同對外提供數據存儲和 業務訪問功能。為滿足本次高清點位視頻存儲的需求，同時符合行業 發展趨勢，滿足業務使用需求，本次xx天網二期擬建設云存儲系統 進行錄像存儲和業務訪問接口。 大容量存儲需求隨著各地城市視頻監控系統建設的深入，攝像頭數量日益增多。 前端建設普遍采用1080p高清攝像機。依據平安城市的建設要求，高 清圖像存儲30天，那么一萬路視頻的總存儲容量需要大致為十幾個 pb。 集中存儲需求對于城市級系統數十pb的存儲需求，若采用通用ipsan存儲方 案，則需上千臺ipsan，難以實現高效、統一的存儲與設備管理，無 法高效支撐公安視頻實戰應用。高io性能需求基于視頻大數據的智能實

3、戰應用對大量視頻的快速收集與分析 有非常高的要求，而傳統ipsan存儲方式由于io性能低，無法滿足視 頻大數據應用的存儲與應用要求。1.2存儲系統基本要求在設計xx天網視頻監控系統存儲系統時，依據以下設計要求：（1）監控點的錄像過程將對網絡交換設備產生很大的壓力，核 心交換機應能負擔如此大的交換壓力，需考慮網絡故障以后錄像數據 的緩存功能以及網絡恢復以后的補錄功能。（2）能集中管理所有存儲資源并統一調度，統一部署存儲策略。 與存儲資源物理位置無關，只要ip網可達，便可實現對存儲資源隨 時隨地檢索和回放。（3）保障存儲系統數據的安全性，對訪問權限進 行集中管理與分配。（4）存儲空間統一管理、統一

4、分配，可實現無縫 在線擴容。（5）存儲系統具有冗余備份的能力，提供持續穩定的性能。（6）存儲系統提供標準的運維接口，維護簡單方便。（8）存儲系統具備高可靠性，出現設備故障后，存儲業務不中 斷。本項目在xx分局建設分布式視頻云存儲中心，每個存儲中心依 據接入到該區的視頻前端的數量實際情況，規劃建設分布式云存儲系 統。1.3云存儲拓撲示意圖ucs的存儲節點通過uni-fs分布式文件系統，將多臺存儲節點上的物理資源形成一個統一的大存儲池對外提供數據存儲空間，并提供數據 保護功能。云存儲提供標準的cifs/nfs/ftp/等文件傳輸訪問協議； 通過流媒體服務器過存儲服務器實現照片流，視頻流的轉存；提供

5、標準訪問接口，兼容性好；利用云存儲提供的糾刪碼、復制卷等多種基礎數據可靠性，解 決視頻數據冗余問題，當存儲節點、磁盤故障保證業務不中斷，數據 不丟失。1.4云存儲架構下圖為分布式云視頻存儲解決方案總體架構圖。圖：分布式云視頻存儲解決方案總體架構圖本次項目所采用的分布式云存儲方案主要包含三大模塊，分別為：業務服務層，數據處理層以及物理硬盤層。業務服務層作為云存儲系統的對外管理gui界面和業務功能服務 層，實現云存儲相關的功能，如負載均衡、故障自動切換、認證管理、 配額管理等，并可基于標準協議iscsi/nfs/cifs/ftp、posix接口等提供對外的業務連接接 口；數據處理層作為云存儲系統所

6、有存儲節點之上的分布式文件系 統，它將各物理存儲設備節點組成一個集群，對外提供文件存取和數 據保護等功能。完成內部文件系統的管理，完成各存儲節點間的通信 和任務調度、任務監測等。完成存儲節點和設備的虛擬化。它采用無 元數據設計的全對稱分布式架構，支持3300個存儲節點的彈性無 縫擴展，可提供pb級單一存儲空間。物理磁盤層為云存儲系統的基本組成單元，對外提供數據存儲空 間，包含實際的存儲節點及其所插入的硬盤等。本次項目新建的攝像機通過運營商提供的網絡直達區分局機房， 各分局對應的攝像機視頻存儲在各分局建設的分布式視頻存儲中心 中，其中xx分局的視頻資源就近接入xx分局分布式視頻存儲中心， xx分

7、局視頻資源就近接入到xx分局分布式視頻存儲中心。1.5云存儲功能特性1.5.1無元數據設計元數據就是記錄數據邏輯與物理位置的映像關系，以及諸如屬性 和訪問權限等信息。傳統分布式文件系統一般采用集中式元數據服務 或分布式元數據服務來維護元數據。集中式元數據服務會導致單點故障和性能瓶頸問題，一般情況采 用雙機主備方式來解決單點故障問題但無法解決性能瓶頸問題，因此 此類分布式文件系統的擴展性相對來說較差；而分布式元數據服務存 在增加算法的復雜度，在性能負載和元數據同步一致性上存在問題， 特別是對于海量文件的應用，元數據問題是個非常大的挑戰。本次宇視ucs云存儲系統采用無元數據服務的設計，取而代之使

8、用算法來定位文件。集群中的所有存儲系統管理單元都可以智能地對 文件數據分片進行定位，僅僅根據文件名和路徑并運用算法即可，而 不需要查詢索引或者其他服務器。這使得數據訪問完全并行化，從而實現線性性能擴展。1.5.2彈性算法本次設計的ucs云存儲系統，不需要將元數據與數據進行分離， 集群中的任何存儲節點和客戶端只需根據路徑和文件名通過彈性 hash算法就可以對數據進行定位和讀寫訪問，且文件定位可獨立并行 化進行。1.5.3全局統一命名空間分布式文件系統最大的特點之一就是提供全局統一的命名空間。 全局統一命名空間就是將多個存儲服務器的磁盤和內存資源聚集成 一個單一的虛擬存儲池，對上層用戶和應用屏蔽了

9、底層的物理硬件。 存儲資源可以根據需要在虛擬存儲池中進行彈性擴展。全局統一命名 空間可以讓不同的用戶通過單一掛載點進行數據共享，i/o可在命名 空間內的所有存儲設備上自動進行負載均衡。本次項目采用的宇視ucs云存儲系統是基于文件系統提供統一命 名空間，在同一個、云存儲系統中可以同時有多個文件系統的卷（物 理資源池，由多個存儲設備的資源組成），不同的卷創建的文件系統 有不同的命名空間。云存儲系統同時也是基于文件系統的卷提供共享 文件目錄，因此不同用戶可通過訪問這個單一的共享文件目錄，實現 io在這個文件系統命名空間內的所有存儲設備上自動負載均衡。1.5.4糾刪碼數據保護本次項目宇視ucs云存儲系

10、統的數據保護采用數據n + m糾刪碼 保護模式，通過n + m糾刪碼實現m個節點冗余，資源利用率為n/(n + m)云存儲支持基于文件系統級別（卷級別）的n + m糾刪碼，對文 件采用原數據+冗余數據的保護模式，n為文件原始數據分片份數， m為冗余數據分片份數。在n + m卷模式下，最多可允許m個節點 故障，數據仍可被正常訪問，并自動恢復。如下以4+2為例介紹：文件寫入，文件被分為多個固定大小的數據塊，而1個數據塊被 分為n個數據分片，通過n+m糾刪碼算法得到m個冗余分片，存入 n + m個存儲節點，如下圖；在沒有存儲節點故障時，文件直接從數 據分片中讀取。當m個節點故障時，文件讀取恢復：可通

11、過其他節點數據算出 數據，如下圖：1.5.5彈性擴展本次項目ucs云存儲系統采用無元數據設計，通過彈性hash算 法定位文件訪問的架構，決定了云存儲系統獲得了接近線性的高擴展 性。ucs云存儲系統支持從橫向和縱向的擴展模式，實現在容量、性 能和帶寬三方面的線性擴展。橫向擴展。通過增加存儲節點，實現系統容量、性能和帶寬的擴 展。存儲節點最大可擴展至300個?？v向擴展。在單節點的硬件性能范圍內，通過增加磁盤擴展柜和 磁盤實現系統容量和性能的擴展。1.5.6負載均衡與故障切換本次采用的ucs云存儲系統提供前端虛擬ip地址池，為節點分配 動態ip地址，客戶端根據域名訪問云存儲系統，采用輪詢的方式為 客

12、戶端（流媒體服務器等）返回不同的ip地址，實現業務在不同節 點上進行讀寫訪問，從而達到業務負載均衡的目的?？蛻舳嗽L問云存儲系統如圖示：客戶端使用域名訪問云存儲系統，發送域名解析請求到dns服 務器；dns服務器輪詢返回云存儲系統前端虛擬ip池中的ip給客戶 端；客戶端使用dns返回的ip訪問云存儲中相應的節點。故障切換功能是當節點宕機之后，可以將該節點上的動態ip地 址漂移到其他節點上，由其他節點繼續提供服務，保持業務的連續性， 待故障存儲節點恢復之后，重新為該節點分配動態ip地址，繼續提 供服務。1.5.7訪問協議本次采用的ucs云存儲系統支持nfs、cifs、ftp、iscsi協議訪問。n

13、fs主要應用于流媒體服務器為linux的操作系統；cifs主要應用 于流媒體服務器為windows的操作系統，實現視頻文件和照片文件的存 儲與訪問。ftp是tcp/ip網絡上兩臺計算機傳送文件的協議，ftp客戶機可以 給服務器發出命令來下載文件，上傳文件，創建或改變服務器上的目 錄，支持間接使用遠程計算機，使用戶不因各類主機文件存儲器系統 的差異而受影響；可靠且有效的傳輸數據。協議（hypertexttransferprotocol,超文本轉移協議）是用于從服 務器傳輸超文本到本地瀏覽器的傳送協議。1.5.8認證方式ucs云存儲系統支持本地認證和外部域認證，域認證支持外部ad 域服務器認證，外

14、部ldap域服務器認證和外部nis域服務器認證。1.5.9系統管理管理同時支持圖形界面和命令行方式。管理員可以通過master 浮動ip地址訪問統一的網管界面，完成對集群系統的監控、配置、 資源分配、性能統計和告警瀏覽等操作。支持email，snmptrap，短信，蜂鳴器，指示燈，數碼管等多種 告警方式。當卷處于掛載狀態時（工作狀態），對共享文件夾設置系統用戶 的配額，可以限制該系統用戶在共享文件夾下的最大寫入數據大小。 一個用戶可以在多個共享文件夾下擁有不同配額，一個共享文件夾下 也可以有多個不同配額的用戶。配額的設置又分為硬配額和軟配額的配置，先介紹下硬配額和軟 配額的定義： 硬配額：一旦

15、設置了硬配額大小，當用戶數據達到配 額大小時用戶無法再寫入新的數據，系統可根據設定發送配額通知郵 件給用戶。 軟配額：一旦設置了軟配額大小，當用戶數據達到配額 大小時系統可根據設定發送通知郵件給用戶，但用戶仍可以在容許時 間內寫入新的數據，如果未配置硬配額，則可以寫入數據直到達到可 用卷資源的大?。蝗绻O置了硬配額，則可以寫入到硬配額的大小。1.6存儲系統配置及設備性能要求分布式視頻存儲節點配置如下：存儲系統為無單獨元數據節點的對稱分布式存儲設備，采用橫向 擴展架構，最少支持200個存儲節點，全active并行模式，節點地位 均等、數據均衡分布，支持無單獨元數據管理節點的對稱分布式架構， 簡化

16、云存儲管理，消除性能瓶頸。支持負載均衡與故障保護，配置負載均衡功能；業務自動在各節 點間負載均衡，當任意節點故障時，故障節點上的業務能自動切到其 他節點，并實現自動負載均衡；支持多副本及跨節點冗余校驗技術：可提供全局數據靈活多級別 冗余設置保護，支持糾刪碼、多副本、raid2.0等保護技術；節點間可 通過n+m糾刪碼技術和復制技術實現數據保護；提供統一的命名空間；支持多種認證方式；支持配額管理和權限 管理；支持posix、iscsi、nfs、cifs、ftp、rest等標準訪問協議，兼容 hdfsapi，支持 hadoop 應用；存儲單節點性能配置：雙核處理器，不少于8gb緩存，可擴容至32g

17、b； 4個千兆以 太網數據接口，配置萬兆網卡；支持硬盤前面板熱插拔便于后續安裝 和維護；支持網口聚合、負載均衡；支持多個網口設置同一 ip地址 實現數據鏈路冗余，其中一條鏈路失效不影響數據存儲；4u高度/24盤位；支持擴展柜，最大可接9級擴展柜，支持最大接入240個硬盤;3）raid功能：支持raid6、50等raid級別，支持基于磁盤塊做raid； raid陣列可即建即 用；當raid出現故障失效時，raid中的錄像可進行回放；4）在raid中磁盤發生故障時，空白磁盤可自動轉換為熱備盤以 替換故障硬盤并重建raid；5）局部重建功能：當raid中的磁盤拔掉之后短時間內再插上， 該磁盤能恢復到

18、原有raid中，raid陣列恢復正常；6）支持磁盤漫游，磁盤更換槽位后可在圖形界面上顯示新的磁 盤槽位，不影響raid使用；7）磁盤休眠：支持對不使用的磁盤休眠；8）冗余功能：支持電源、風扇、電池的冗余及熱插拔；9）支持 異構虛擬化功能；支持nas的本地備份、遠程備份功能；10）雙bios功能：支持主bios及備bios，主bios故障時可從備 bios啟動；11）支持磁盤順序加電；支持異常掉電來電后業務自動恢 復；12）降級、重建功能：raid中磁盤發生故障，raid處于降級、重 建狀態，不影響數據寫入；13）數據保險功能：電池保護緩存下刷功能，掉電后存儲數碼管 有顯示緩存數據下刷的進度，重啟后數據無丟失；14）支持硬件和環境監控功能，可對設備電壓、環境溫度、網絡 接口及cpu使用率等狀態信息進行實時查看；支持snmp設備管理協 議，實現snmp報警；1.7存儲連接網絡設計存儲系統采用業務端口和管理計算端口相互分離的網絡結構。任 何一臺存儲都通過網線/光纖連接到2臺不同的交換機上，實現鏈路 備份和負載均衡。存儲前端采用千兆業務接口和業務交換機相連，實現對服務器轉 發過來的碼流的存儲和完成服務器對碼流的調取請求等。存儲節點后端采用萬兆業務接口和后端的云存儲管理網絡相連