1、WORD格式云數據庫方案設計一、云數據庫的云化改造面向云化環境，數據庫在多個方面需要進行改造，包括快捷的安 裝部署，提供數據庫的動態伸縮和資源隔離，以及監控、遷移、備份 等一體化管理，以適應云環境中自動安裝部署、一體化監控管理，資 源動態分配等需求。1. 快速安裝及部署1.1 一鍵部署和分鐘級實例的創建 :1. 準備好預置數據庫的 docker 鏡像a. 初始化好空數據目錄（也支持根據場景預置數據）b. 數據庫配置文件放置在 docker 鏡像之外，通過映射的 方式進入鏡像內部2. 用戶選擇實例資源后（ CPU、內存），系統自動計算最佳設置a.用戶選擇實例的內存、 CPU數量，使用場景（ OL

2、TP、OLAP）b. 根據用戶選擇，自動調整、優化參數（共享緩存、 work_mem、等等）3. 使用 docker 鏡像加載外置配置文件啟動數據2. 多種部署方式1.2 單機(單獨的 docker 鏡像)1.3主備和負載均衡a) . 配置好的三個獨立 docker 鏡像，分別扮演主機、備機、讀寫分離節點b) . 三個節點配置文件都在外部，映射到內部運行c) . 啟動時，根據用戶的資源選擇和網絡場景，自動規劃配置文件內容1.4KADB集群a) . 根據角色配置好獨立的 docker 鏡像，分別扮演數據節點、協調器節點等b) . 節點的配置文件都放在外部，映射到內部運行c) . 根據用戶設置的資

3、源，場景，自動分配節點數量，配置 節點參數 .4. 在線伸縮云環境中，支持在線調整任何一個實例使用的資源。對于數據庫 而言，若分配的資源，包括 CPU、內存、磁盤等資源發生變化，數據 庫同樣需要對于資源的變化實施生效。CPU變化時，主要影響數據庫的并發連接數和并行參數，在金倉 云數據庫中，并發連接數和并行參數可以動態調整。內存發生變化時，數據庫的共享內存，排序內存等內存分配支持動態調整，動態擴展。磁盤發生變化時，數據庫可以配置表空間的存儲，以及表存儲， 分區的存儲，動態使用新增資源。另外，隨著實際業務的增長，數據庫集群的負載可能超出初始設計的承受能力，使得處理能力下降，不再滿足業務需求，所以數

4、據庫集群支持在線擴展能力，即在不影響系統正常使用的情況下，增加數 據庫的數據處理能力。3. 資源隔離KingbaseES 云數據庫支持多租戶模式，以實現多個租戶之間的資 源隔離。每個租戶創建自己的數據庫，各自的數據庫從元信息、用戶數據 到內存、以及日志信息，都是彼此隔離的。每個租戶的數據庫不可以 彼此訪問。各個租戶的數據庫可以方便的遷移和加載，支持各自的備份和恢 復。4. 一體化管理使用 KEM監控數據庫運行狀態a) . 支持自主監控(由 KEM主動呈現)b) . 支持將收集的數據匯集到其他管理平臺使用 WEB對象管理工具管理數據庫對象a). 單機形式的數據庫對象管理b). 主備形式的數據庫對

5、象管理c) .KADB 集群數據庫對象管理二、向非關系型存儲、大數據處理進行擴展5. 通用數據庫通用數據庫按照處理業務的類型，分為交易型數據庫和分析型數據庫。1.5交易數據庫主要用于交易類型的業務處理，例如：業務流程電子化，其他業 務系統。面向所有參與業務流程的人員。對數據的操作特點是：大量 短、頻、快的增刪改操作。1.6分析型數據庫主要用于統計分析，數據挖掘應用。面向決策者和分析人員。對數據庫的操作特點是：大量數據入庫，大量復雜查詢。云上的數據庫需要有這兩種數據庫，來應對更多的用戶應用需求。5. 與大數據平臺的互訪大數據計算平臺，例如 Spark 、HIVE 等，需要支持大數據計算平臺與數據

6、庫互訪。以大數據計算平臺為中心，建立分析平臺。6. 大數據計算平臺訪問數據庫a) 大數據計算平臺 Spark ：可以提供 JdbcRDD來訪問單機數據庫系統，并且根據某列對表進 行分區，并行讀取，提升效率。對于集群數據庫， Spark 工作進程可 以對每一個存儲節點進行數據讀取，通過這種并行的方式提升效率。b) 大數據計算平臺 HIVE：需要在 HIVE 中注冊數據庫表信息，將數據庫的表映射成HIVE表，通過 Hive-SQL 進行數據讀取，并在 HIVE 中進行運算。7. 數據庫訪問大數據計算平臺大數據計算平臺可以將數據，例如計算結果，寫入到數據庫中， 再在數據庫中，利用 SQL對數據進行分

7、析。8. 云數據集成1.7 與 RDS的數據集成數據庫使用外部表技術，可以訪問 RDS中的其他數據。支持多種格式的數據；支持訪問和更新數據。同時，使用遷移工具實現到 RDS的數據集成。6. 與大數據存儲平臺的數據集成數據庫提供外部表技術，可以將交易型和分析型數據庫與其他存 儲平臺對接，在數據庫內部，通過外部表訪問大數據存儲平臺中的數據，包括：a）與 HDFS對接：外部表訪問引擎（讀寫模塊），通過調用HDFS的訪問接口（ InputFormat ，OutputFormat ），對Textfile ，Avrofile ， ParquetFile 的文件進行讀寫。可以在數據庫中對 HDFS中的數據進