應需而變融以致遠——大數據時代存儲之路

信息化：從涓流到海洋目錄大數據帶來哪些技術變革云時代大數據的特點12華為大數據架構和詳細實際3大量用戶群體海量計算大量數據管理數據分析大數據定義-不同行業的不同聲音云時代的大數據特點Volume-巨量Variety-多樣性Value-價值密度數據量宏大全球在2021年正式進入ZB時代IDC估計到2020年，全球將總共擁有40ZB的數據量構造化數據、半構造化數據和非構造化數據如今的數據類型早已不是單一的文本方式，訂單、日志、音頻，才干提出了更高的要求沙里淘金，價值密度低一部數小時的視頻，能夠有用的數據僅僅只需一兩秒。如何迅速“提純〞是大數據亟待處理的難題實時獲取需求的信息大數據區分于傳統數據最顯著的特征。如今已是ZB時代，在如此海量的數據面前，處置數據的效率就是企業的生命Velocity-速度信息采集系統全景引見政府機構〔醫保，社保〕短信通話記錄數據分類數據來源運營商存儲區域業務平臺會聚、分析、入庫醫院大型企業交通訊息視頻監控

社保、醫保、住宿、交通視頻監控網絡信息準確查詢…………人際關系、行為分析跟隨分析、人臉識別通話記錄、住宿、交通統計報表短信、Email內容過濾等其他信息統計分析內容查詢數據導入大數據在各行業的運用社交網絡B2C業務能源媒資地質勘探科研智能電網非線編輯后期制造衛星探測基因工程電子支付票據歸檔金融互聯網公安視頻監控視頻分析目錄大數據各行業需求和運用大數據帶來哪些技術變革云時代大數據的特點12華為大數據架構和詳細實際3大數據帶來技術變革大數據分析處置全球技術研討和咨詢公司Gartner將“大數據〞技術列入2021年對眾多公司和組織機構具有戰略意義的十大技術與趨勢之一；Gartner在其新興技術成熟度曲線中將“大數據〞技術視為轉型技術；傳統技術晉級已滿足不了大數據處置的需求，“大數據〞技術將在未來3—5年內進入主流。其技術形狀也會產生較大的變化；存儲瓶頸計算瓶頸網絡瓶頸數據庫瓶頸大數據帶來哪些技術變革單機集群虛擬化集群文件存儲單機設備間銜接設備內銜接關系型數據庫橫向擴展橫向擴展GEFC數據庫集群10GEFCIB分布式數據庫非關系型數據庫塊存儲10GESASIBFC計算存儲數據庫網絡橫向擴展〔硬件擴展〕塊虛擬化豐富的增值軟件及對外接口橫向擴展〔硬件+文件系統〕文件虛擬化豐富的增值軟件及對外接口大數據時代群雄逐鹿Hadoop處理方案架構目錄什么十大數據大數據各行業需求和運用華為大數據架構和詳細實際大數據帶來哪些技術變革云時代大數據的特點12華為大數據架構和詳細實際3華為在大數據方面不僅僅是平臺提供商大數據運用開發提供商大數據系統集成商大數據平臺提供商大數據管理效力提供商華為除了具有強大的自主研發實力外，還具備豐富的集成優化第三方平臺的閱歷，可根據用戶的實踐需求，打造適宜用戶本身特點的大數據效力體系；ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackup分布式存儲運用適配,Programmable接口通用效力器網絡〔交換機，路由器〕存儲節點分布式計算和分析批處置(GalaxHD))實時處置和內存計算近實時分析和MPPDB內存數據庫流處置MapReduceHive,Pig,MashoutHBASEHcatalogSQLQueryPlannerMPPExecDataBridge管控平面設備管理資源管理(YARN,多戶,Zookeeper)戰略調度日志留存OLAP視頻分析數據可視化內容檢索數據發掘華為大數據一體化平臺集成SqoopDataLoader華為集成和優化華為自研組件協作3rdPartyToolHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3華為大數據一致架構FlumeLuceneCloudOS30mins/TB的恢復速度平安可信彈性高效存儲池內一切硬盤參與重構，僅重構業務數據由傳統RAID多對一的重構方式轉變為HVS的多對多快速重構方式數據恢復速度相對傳統RAID提升20倍降低95%的多盤失效概率大幅降低重構過程對業務的影響加速數據恢復傳統陣列RAID2.01TBNL－SAS磁盤重構時間〔小時〕100.50246810數據重構時間縮短20倍ApplicationsControllerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOW……PrioritynPriority3Priority2Priority1Partition1Partition2Partition4Partition…Partition3PartitionN中心業務專屬保證存儲系統自動按照優先級不同調配資源，保證中心系統的資源需求SmartQoS確保中心業務效力質量物理緩存分區，為特定LUN設定公用的緩存分區，防止中心業務與邊緣業務惡性緩存競爭SmartPartition關鍵業務性能保證平安可信彈性高效Smart軟件提升客戶系統效率數據智能流動SmartTier數據動態分級SmartVirtualization異構數據整合SmartMotion數據動態平衡EMCHDSIBMHW平安可信彈性高效SmartTier：精細化熱點統計與遷移，最大化性能資源利用率，性能提升3倍SmartMotion：基于場景的動態部署變卦，最大化自動負載平衡，硬盤利用率提升2倍，運維本錢下降60%SmartVirtualization：支持對異構存儲系統進展一致虛擬化管理，最大化既有投資維護，投資報答率提升50%Smart智能軟件SSDSASNL-SAS一致管控，運維一手掌握各類型存儲一致管理，化繁為簡分層可視化，直觀監控，高效排障智能分析提升效力質量，節約本錢與挪動運維結合，管理更智能存儲管理軟件一致監控與管理報警管理拓撲平安在線存儲近線存儲平安可信彈性高效亞洲最大兼容性實驗室亞洲最大的IT產品兼容性實驗室，擁有國內最全面的測試環境，產品兼容性得到充分的認證，客戶的兼容性疑慮得到最好的解答華為與全球400家IT廠家協作，影響全球IT生態圈，為客戶提供更加全面的IT產品。超越400家兼容性測試同伴兼容性實驗室——處理您的兼容性顧慮HVS&T系列一致存儲存儲虛擬化VIS6600TN9000大數據存儲面向企業級數據中心實現數據智能規劃雙活數據中心一致存儲資源池面向海量數據存儲交融架構簡化生命周期管理P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8P15P22P1P8SelfOrganizedDisksDHTS3/NFS/CIFS存以智用，融以致遠云化存儲設計：智能交融可信任，滿足企業需求外企當道、自主乏力本地產/OEM不等于自主可控本地產為的是降低消費本錢，OEM僅僅是包裝存儲中心競爭力是研發、設計技術、質量、價錢均不可控本地產/OEM≠自主可控IDC2021年數據外企當道≈平安要挾外企霸占國內市場：國外存儲廠商占據國內80%以上的市場份額，其中金融業占據90%，交通行業超越80%，電信行業超越90%；要挾國家平安：CNNVD〔國家信息平安破綻庫〕統計外企在國內艱苦信息平安破綻多達6萬個華為存儲的中國芯公用/通用途置器CPU自研ARM64，交融存儲特性(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡最少磁盤，最少電力，滿足海量數據備份需求加速卡實現5GB/s=18TB/Hr更低本錢，更高性價比智能交融IO芯片Hi181210GE,RDMA(10GE),TOE,IOE,FCoE,FC8G/16Gallinone更低本錢，更高性價比PCI-ESSD控制芯片Hi1821支持PCI-E3.0接口支持SAS3.0協議SASSSD控制芯片Hi1811業界第一顆支持SAS2.0的ASIC控制器發布首款全固態存儲系統Dorado2100Red-BPrime可編程引擎〔TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等協議卸載〕PCI-EoverFabric，IO擴展和共享，數據加密緊縮Red-BPrime提供最全系列全國產存儲產品大數據和云存儲數據維護磁盤存儲存儲軟件HDP3500E*VTL6900*固態存儲HyperSnapHyperClone

數據復制軟件存儲管理軟件HyperCopyHyperReplicationDorado2100G2Dorado510060萬IOPS訪問延遲低至500s100萬IOPS訪問延遲低至500sHVS85T/HVS88TS2600T/S5500T/S5600T/S5800T2~16控制器可擴展至3TBCache可擴展至3216塊硬盤0~5sRPOS6800T可擴展至384GBCache可擴展至1440塊硬盤25萬SPC-1性能一致存儲，同時支持塊和文件運用可擴展至192GBCache可擴展至1440塊硬盤S2200T雙控制器支持4GBCache支持204塊硬盤SmartQoSSmartMotionSmartTierUltrPathUltraVRUltraAPMSmartCacheSmartThinSmartXInsightManagementConsoleInfraControlCSS分布式存儲系統N9000大數據存儲系統支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互聯UDS海量存儲系統3~288節點，40PB容量擴展，500萬OPS10GE/IB高性能互聯規范AmazonS3接口EB級容量擴展高密設計，單柜2PB容量N8500集群NAS系統*全Active架構支持文件和塊接口2~24節點，15PB容量擴展，300萬OPS動態分級存儲一體化備份設備PB級海量備份集群架構同時支持Inline與后端重刪VIS6600T*2~8節點，Scale-out虛擬化存儲專業的本地效力和咨詢團隊您身邊的效力專業效力團隊戰略效力協作1成都總部4區域存儲才干中心5效力階段32區域技術支持中心140+效力范圍覆蓋城市8+效力領域10+專家組合1效力合同0+PMP專家26000+專業的效力團隊300+專業效力監管300+備件中心200+增值效力同伴2000+協作同伴4培訓中心1700+專業講師設計咨詢實施改良運營一站式效力江蘇公安工程部署HVS高端存儲，助力江蘇公安信息化新疆省公安廳存儲集中化:警務信息平臺上層業務系統復雜，包括案情分析系統，網絡執法系統，信息對比系統等數據高可靠：需求高可靠，高性能，高效率，高擴展性的存儲承載上層中心業務效率最大化:SMART系列軟件提示系統整體運轉效率農行票據影像歸檔存儲系統全面部署農行全國36個分行網點，滿足每個分行3~5年的票據影像歸檔數據存儲，并可存儲定時復制的在線數據多控集群架構，系統性能隨集群節點的添加呈線性增長實現票據影像數據的獲取、存儲、索引、搜索、歸檔等全生命周期管理按照要求采用小部分SAS盤、大部分SATA磁盤，以及配合其它節能特性，有效降低運營本錢為38個分行票據影像等非構造化數據提供歸檔存儲才干提供各分行會計檔案15年近線歸檔數據存儲海量的存儲空間，具備最大288節點的橫向擴展才干，容量性能線性擴展業界領先的性能，高效小