1、大數據時代云數據庫HBase架構技術創新，變革未來提綱業務挑戰帶來的架構演進大數據數據庫的實際案例業務的挑戰 - 存儲量/并發計算增大MySQLECS數據量變大索引計算力存儲事務SparkHBaseES/Solr100T存儲量大 分布式復雜 成本高分布式化 - 大數據方案列存磁盤業務的挑戰 - 結構化業務增多MySQLECS檢索計算力存儲事務Graph時序時空工程成本 復雜性關系關系NewSQL業務的挑戰 - 引更多的數據復雜性分布式延遲靈活性計算復 雜性靈活性Kylin(滿足讀延遲)Hadoop& Spark延遲分布式數據庫應對的辦法云化復用資源&彈性 降低成本分層設計降低復雜性分布式提供擴

2、展性計算力延伸算子+SQL基本架構Spark提供計算 能力分布式件系統：盤古分布式安全隔離保障層：QOS純SSDSSD&SATA 混合純SATA分布式件接口：HDFS&API分布式Region - HBase分布式索引 - ES&Solr時序數據庫-OpenTSDB圖數據庫-JanusGraph時空數據庫-GeoMesaCube數據庫-KylinSQL標準的SQL口基于存儲計算分離HDFS 與 分布式Region分布式索引分離SQL時空圖時序Cube與分布式Region檢索分離存儲與計算分離 - 存儲按需計費分層負責-規避工程復雜性-構建各自核心競爭力解決成本的方案盤古QOS純SSDSSD&S

3、ATA 混合純SATAHDFS&API分級存儲分級存儲高壓縮比基礎設施共享 - 庫存壓力分擔存儲與計算分離 - 按需計費 優化性能按需計費高壓縮節點資源資源節點可用區A可用區C節點節點節點節點資源資源可用區B資源資源資源資源資源資源資源資源北京區域杭州區域降低成本存儲集群 冷熱搭配資源多租戶、與其它業務共享資源存儲集群 冷存儲集群 熱存儲集群 熱存儲集群 熱存儲集群 冷可用區A可用區B同城容災異地容災冷數據/備份冷數據/備份云數據庫基本部署結構高并發、海量存儲高并發海量存儲萬列稀疏矩陣1B100M 海量存儲HBase圖片檔網頁病毒對象存儲時序數據推薦畫像消息/訂單存儲時空數據高并發海量存儲軌跡

4、氣象網格強同步、海量數據聊天消息 訂單/保單存儲用戶特征Feeds流NewSQL實時報表傳感器股票K線監控數據千萬并發PB存儲KV基礎存儲動態列強同步稀疏表SQL二級索引Read Replicas100M的對象存儲高并發請求訪問 朋友圈新聞SQL、二級索引、動態列索引查詢、元數據庫Cube分析、支持的場景客戶案例 - 某車聯網公司物聯網套 件ApsaraDB-HBase流計算 數據清洗分析軌跡100萬臺車，每輛車 10s上傳一次，每次1KB1年數據存儲300T+，6個月以上數據低頻訪問，分級存儲的能力Rowkey設計：Sub(Hash(車輛ID),5)+ 車輛ID + 時間客戶案例 - 某大數

5、據控公司ApsaraDB-HBaseAPP ECSECS實時查詢 返回結果Spark算法訓練Spark SQL報表HBase數據 (在線實時大數據存儲)用戶畫像、指紋等爬蟲、手機等原始信息數據量200T+ApsaraDB-HBaseECS推薦關系ECSSLA要求高99.99，雙集群保障單集群讀寫高峰QPS 1000w+數據量：30TApsaraDB-HBase主備集群推薦關系 實時feedSpark Streaming實時關系寫定期回補關系客戶案例 - 某社交公司ApsaraDB-HBase & PhoenixODPS同步ECSSQL實時查詢批量快速加載交易訂單查詢單表 10000億 +級索引 多個索引字段數據量：100T客戶案例 - 某基公司ApsaraDB-HBaseODPSReport實時查詢離線build cube再數據同步到HBase中離線建好Cube實時更新數據量20T左右客戶案例 - 某