白皮書-神通xcluster集群件_第1頁
白皮書-神通xcluster集群件_第2頁
白皮書-神通xcluster集群件_第3頁
白皮書-神通xcluster集群件_第4頁
白皮書-神通xcluster集群件_第5頁
免費預覽已結束,剩余54頁可下載查看

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

11產品簡 目錄產品功 目錄基本功 管理工 產品架 技術特 擴 負載均 高可靠 元數據 管理終 實驗驗 運行環 硬件要 服務說 7.2服務內 7.57.2服務內 7.5本地化服 7.3服務方 7.6提供解決方案協同服 7.4響應時 7.7服務團 神通xCluster集群件是神舟通用數據技術(簡稱“神舟通用公司”)以多年大型通用數據庫領域的研發實力為基礎,集深厚的航天信息化建設經驗,集成多項先進技術,為滿足航天、、金融、電信、電力等行業的海量數據分析統計應用需求而打造的數據庫分布式計算集群。是國家“核高基”重大專項、國863計劃在基礎所取得的一項重要成果。神通xCluster集群件的研發得到了國家發改委、國家科技部、工信部、國防科工委以及中國航天科技公司的大力支持,在國產相關領域居于領先水平。依托神通數據庫、神通KSTORE以及神通xCluster集群件的產品研發,公司先后獲得了8項相關技術發明專利。神通xCluster集群件兼容神通數據庫和神通KSTORE產品,支持標準的SQL語句,提供標準的ODBC和JDBC數 同時具有高效的查詢處理性能。系統功能完善,性能穩定,配置簡單、靈活,在TPCBENCH-MARKH測試中表 針對海量數據隨著業務增長而無限擴大的特點,神通xCluster集群件提供集群的 1 在數據庫中,而是在需要的時候根據視圖定義計算出來。視圖限制表的行列2執行時所能干擾的程度。級別越擾越少,并發程度越低;級別越低,干擾越多,3數據遷移的主要功能是進行神通xCluster集群件與其它各種異構數據源(如各種關系數據庫系統、文本計劃提示功能為應用開發提供一種用以控制生成計劃的方式。基于代價的優化器在絕大多數最優的應用發可以過計提示hint)生更的劃以應對能要。一個神通xCluster集群件可以創建多個邏輯數據庫,不同的邏輯數據庫之間相互獨立,相當于多個集群神通xCluster集群件提供了擴展功能,當集群的負載增加可能超出其承受能力時,可以通過添加節神通xCluster集群件提供了對數據對象的均衡負載功能,以數據表為操作單位,調整表在各數據庫節點Web管理工具是為數據庫管理員提供的圖形化管理工具。能對神通xCluster集群件上的數據庫對象(如表、4經過處理以后再將結果返回給ISQLPLUS顯示給用戶。5個節點的狀態和cpu負載、數據負載以及網絡負載等信息。6圖6所示。7豐富的數據分布方群件的數據分布方案,可以使數據能力呈穩定線性增長而不會影響系統性能。結合神通數據庫或神通循環分布到若干節點(Roundrobin)僅存在于單節點(SingleCREATECREATETABLEREGION(R_REGIONKEYINTEGERNOTCHAR(25)NOTVARCHAR(152)NOT8CREATETABLECREATETABLEORDERS( INTEGERNOT INTEGERNOTNULL, CHAR(1)NOTNULL, FLOAT8NOTNULL, DATENOTNULL,O_ORDERPRIORITYCHAR(15)NOTNULL, CHAR(15)NOTNULL, INTEGERNOTNULL, VARCHAR(79)NOTPARTITIONINGKEYO_ORDERKEYONALLBUCKETS4;9高速數據COPYxClusterxCluster瞬時數據導入速度可達370M/s。高效的查詢處制的進行擴展,并在一定范圍內隨著節點的擴展,性能基本呈線性增長。神通xCluster集群件特別適用于分析型應用,成本$5385.82的神通xCluster集群件集群系統QphH@100GB為1997.45。ClusterServerClusterServer會相應的先做合并排序(MERGESORT)操作--ORDERS表采用HASH分布4個節SELECTCOUNT(*)FROMQueryStepStep------1TMPTT1_1,以接收后續操作中可能送到本節點的中間結果2CREATETABLE"TMPTT1_1"("XCOL1"INT)NOLOGGINGSelectSELECTCOUNT(*)AS"XCOL1"FROM"ORDERS"使用臨時使用臨時表接收 送來的中間結果并發的執行第二次 操作,并返給集群;注意:此時是對個點的結果做和操作,因此需要將 操作變為了SM。刪除臨時表SelectSELECTSUM("XCOL1")AS"EXPRESSION1"FROMDrop:--LINEITEM表采用HASH區4GROUPORDER

SUM(L_TY)ASSUM_QTY,SUM(L_EXTENDEDPRICE)ASSUM_BASE_PRICE,SUM(L_EXTENDEDPRICE*(1-L_DISCOUNT))ASSUM_DISC_PRICE,SUM(L_EXTENDEDPRICE*(1-L_DISCOUNT)*(1+L_TAX))ASSUM_CHARGE,AVG(L_TY)ASAVG_QTY,AVG(L_EXTENDEDPRICE)ASAVG_PRICE,AVG(L_DISCOUNT)ASAVG_DISC,COUNT(*)ASCOUNT_ORDERL_SHIPDATE<=DATE'1998-12-01'-INTERVAL'120DAY'Query創建臨時創建臨時表TMPTT1_1,以接收后續操作中可能發送到本節點的中間結果四個節點并行做查詢,因為函數的存在,在匯聚了各個節點的結果后需要做二次操作Step0c1avg均值,則各個節點需要返回各自c1sumcount。CREATETABLE"TMPTT1_1"("XCOL1"CHAR(1),"XCOL2"CHAR(1),"XCOL3"DOUBLEPRECISION,"XCOL4"DOUBLEPRECISION,"XCOL5"DOUBLEPRECISION,"XCOL6"DOUBLEPRECISION,"XCOL7"DOUBLEPRECISION,"XCOL8"BIGINT,"XCOL9"DOUBLEPRECISION,"XCOL10"BIGINT,"XCOL11"DOUBLEPRECISION,"XCOL12"BIGINT,"XCOL13"INT)NOLOGGING指定)TMPTT_1。步的匯聚操作,如:sum1+sum2+sum3+sum4=sum,(sum1+sum2+sum3+sum4count1+count2+count3+count4avg將最終結果返回給用戶,刪指定)TMPTT_1。步的匯聚操作,如:sum1+sum2+sum3+sum4=sum,(sum1+sum2+sum3+sum4count1+count2+count3+count4avg將最終結果返回給用戶,刪除臨時表TMPTT1_1StepSelectSELECT"XCOL1"AS"L_RETURNFLAG","XCOL2"AS"L_LINESTATUS",SUM("XCOL3")AS"SUM_QTY",SUM("XCOL4")AS"SUM_BASE_PRICE",SUM("XCOL5")AS"SUM_DISC_PRICE",SUM("XCOL6")AS"SUM_CHARGE",(SUM("XCOL7")/SUM("XCOL8"))AS"AVG_QTY",(SUM("XCOL9")/SUM("XCOL10"))AS"AVG_PRICE",(SUM("XCOL11")/SUM("XCOL12"))AS"AVG_DISC",SUM("XCOL13")AS"COUNT_ORDER"FROM"TMPTT1_1"groupby"XCOL1","XCOL2","XCOL1","XCOL2"--ORDERSLINEITEMHASH分區,分布到相同4個節點SELECTL_RETURNFLAG,L_LINESTATUSFROMORDERS,LINEITEMWHEREO_ORDERKEY=StepSelectSELECT"LINEITEM"."L_RETURNFLAG"AS"L_RETURNFLAG","LINEITEM"."L_LINESTATUS"AS"L_LINESTATUS"FROM"ORDERS"INNERJOIN"LINEITEM"ON("ORDERS"."O_ORDERKEY"="LINEITEM"."L_ORDERKEY")擴xCluster集群件提供了擴展功能,可以通過添加節點數據庫來提升集群性能,而不需要停止應用業務。如圖7所示。神通xCluster集群件采用Share-Nothing的集群架構,因此對數據節點的擴展個數沒有限制。神通圖 性能,從而影響集群的整體性能。神通xCluster集群件提供了對HASH分布數據對象的均衡負載功能,以數據表現有的應用業務負載總量為:759748747。這些負載被均勻分布在兩個節點上:SN1負載23、SN2負載24。隨著業務增長,其中兩種業務(兩張表)的負載大幅增加:第一類業務(表1)負載710,第二類業務(2)510SN2,SN2載過重,此時可以調整第二類業務的分布進行負載均衡。調整后第二類業務將分布在SN1、SN2個節點的負載為:SN1:23+10=33、SN2:24+10=34。現有的應用業務負載總量為:759748747。這些負載被均勻分布在兩個節點上:SN123、SN224812,7+12,但是此時SN1、SN2的負載都已經過重。此時可以先擴展,在進行負載均衡調整。調整后第六類和第七類SN3:SN1:977=23、SN2:75+4824、1212248ClusterServer9神通xCluster行管理,實現擴展等重要功能;數據分布管理模塊依靠元數據庫中記錄的信息進行數據的分發和;在具,對集群進行管理和監測。也可以像使用ISQL神通數據庫管理系統和神通KSTORE產品一樣,通過數據庫節神通xCluster集群件的數據庫節點兼容神通數據庫管理系統和神通KSTORE產品,并支持嵌套神通xCluster集數據庫節點是集群務數據的實際存放位置和集群的主要計算能力,集群的數據能力和查詢處理能力隨著數據庫節點的增多而增強。神通xCluster集群件對各個數據庫節點的性能沒有任何要求,但是顯而易見的,性的數據分布和負載均衡避免。因此一個典型的高性能/高擴展性神通xCluster集群件部署方案里,各數據庫節為驗證該高性能/高擴展性方案的有效性,使用該方案部署了一個基于神通數據庫7.0企業版的集群,見圖11。9臺聯想R525G3機架式服務器,使用QuidwayS3328TP-SI(AC)交換機互聯。服務器安裝64位操作系統RedHatLinuxServer6.17.0xClusterV3.06×1TBSATA為了更真實的模擬和驗證集群在實際業務應用中的高性能/高擴展性,采用中國山東綜合結算系統的實際數據作為驗證源數據。主數據表TEST包含112個屬性,需7個月的話單數據,數據量為2737GB。測試用例為該結算系統最常用的5種查詢。在單個聯想R525 G3機架式服務器節點分別使用神通數據庫7.0企業版和ORACLE對7個月的數據測試5種最常用的業務查詢,然后把這7個月的數據分布在8個節點的集群上再次測試5種查詢。如表1所示。8*Server6.1Server6.1Server6.1ORACLE基于神通數據庫7.0企業版和xCluster集群V3.08節點集群查詢執行時間單位:秒selectcount(*)fromfromtestwherestart_time<to_date('2010-01-0200:00:00','yyyy-mm-ddhh24:mi:ss')andhplmn1='452';selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-01-0400:00:00'andstart_time>='2010-01-03selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-01-0200:00:00'andstart_time>='2010-01-0100:00:00'andhplmn1='452';selectsum(charge1),sum(charge2),sum(charge3)fromtestwherehplmn2=451andhplmn3=5139; 顯著提高,平均加速比為1:7.14。如圖12所示。12:性能集群驗證4.5.2源數據總量為22.03TB。8*Server6.1Server6.1神通數據庫7.0企業版和神通xClusterV3.08 selectcount(*)fromfromtestwherestart_timeto_date('2010-01-0200:00:00','yyyy-mm-ddandhplmn1=selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-0400:00:00'andstart_time>='2010-01-selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-01-0200:00:00'andstart_time>='2010-01-0100:00:00'andselectsum(charge1),sum(charge2),sum(charge3)fromtestwherehplmn2=451andhplmn3= 明顯降低,平均查詢效率比接近1:1。處理器類型:PentiumIII處

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論