1、EXADMA技術(shù)架構(gòu)和主要特點ORACLGORACLE*THE INFORMATION COMPANY Share Disk和Share Nothi叩是兩種主要的數(shù)據(jù)庫架構(gòu)Exadata提供一種混合式的數(shù)據(jù)庫架構(gòu)，能夠有效解決兩者的沖突，吸取 兩種架構(gòu)長處;既可以滿足OLTP的高并發(fā).高可用特點；又可以滿足 OLAP的大數(shù)據(jù)量處理要求；Share Disk把數(shù)據(jù)傳輸?shù)綉?yīng)用代碼端Share Nothing把應(yīng)用代碼移到數(shù)據(jù)端運行當(dāng)應(yīng)用代碼量很大（高并發(fā)）.相關(guān) 數(shù)據(jù)量比較小時，Share Disk更加適 合這種典型的OLTP應(yīng)用；主要特點：高并發(fā)、高可用性（由于數(shù) 據(jù)共享，當(dāng)節(jié)點故障可以透明切換

2、到其他 數(shù)據(jù)庫節(jié)點運行作業(yè)）當(dāng)相關(guān)數(shù)據(jù)量很大.而應(yīng)用代碼并發(fā) 量很小時，Share Nothing更加適合這 種典型的OLAP應(yīng)用；主要特點：大數(shù)據(jù)量處理、低并發(fā)、 低可用性（由于數(shù)據(jù)非共享，當(dāng)節(jié)點故障 ,其他節(jié)點要接管故障節(jié)點數(shù)據(jù)）ExadlaMt檎概述邕F主要指標T智能存儲高可靠高擴展數(shù)據(jù)庫處理層(Share Disk)超高速并發(fā)網(wǎng)絡(luò)層單節(jié)點數(shù)據(jù)庫RAC多節(jié)點數(shù)據(jù)庫Exadata Cell Exadata Cell Exadata Cell智能存儲層(Share Nothing)rrmr i rrmr i rrnrr下于笛下冷 OLTP 丫高可靠高擴展主要指標丫智能存儲Infiniband

3、 高速互計算密集型處理數(shù)據(jù)庫服務(wù)池數(shù)據(jù)密集型處理智能存儲池聯(lián)的數(shù)據(jù)交換 Exadata 智能存儲服務(wù)器(Share Nothing Architecture)在存儲部件中實現(xiàn)數(shù)據(jù)密集型處理進行表及索引掃描，過濾查詢無關(guān)數(shù)據(jù)數(shù)據(jù)庫服務(wù)器承擔(dān)計算密集型處理(Share Disk Architecture) 求和，統(tǒng)計，數(shù)據(jù)轉(zhuǎn)換，等.EXADATA 概述適用于數(shù)據(jù)倉庫應(yīng)用的最好的數(shù)據(jù)庫服務(wù)器(Bestfor Data Warehousing)基于40x壓縮表的Smart scan基于內(nèi)存數(shù)據(jù)的并行查詢整體上比們版本快5倍適用于OLTP系統(tǒng)的最好的數(shù)據(jù)庫服務(wù)器(Best for OLTP)唯一基于網(wǎng)格

4、技術(shù)擴展的數(shù)據(jù)庫 Smart flash eache 可達到20x (1MIOPS)快的IOPS,或者節(jié)省20x對于歸檔數(shù)據(jù)可達到50x的壓縮率安全，容錯適用于混合負載的最好的數(shù)據(jù)庫服務(wù)器(Best forConsolidation)唯一的支持所有負載類型的database machine多個數(shù)據(jù)庫，多個應(yīng)用，多個用戶環(huán)境都能提供可預(yù)測的響應(yīng)時 間Exadata數(shù)據(jù)庫_體機網(wǎng)格技術(shù)之大成高性能，低成本，冗余，線性擴展超級性能&開箱即用RACDB數(shù)據(jù)庫服務(wù)器網(wǎng)格 8 x高性能低成本DB服務(wù)器每個服務(wù)器包括2x4核Xeons/72GBRAMInfiniBand 網(wǎng)絡(luò)每路40 Gb/sec的

5、高可用網(wǎng)絡(luò)智能存嘰 OLTP 丫看樂高擴展Exadata智能存儲服務(wù)器網(wǎng)格=14x高性能低成本存儲服務(wù)器。100 TB rawSAS 盤or336 TB raw SATA 盤 5TB+ 閃存(flash storage)!Extreme Performance超級性能數(shù)據(jù)庫服務(wù)器網(wǎng)格幾百萬級事務(wù)處理能力/每分鐘幾千萬級查詢能力/每分鐘幾十億級記錄掃描能力/每分鐘InfiniBand 網(wǎng)絡(luò) 880 Gb/sec累計10帶寬Exadata智能存儲服務(wù)器網(wǎng)格 21 GB/sec磁盤數(shù)據(jù)掃描 50GB/sec內(nèi)存數(shù)據(jù)掃描巾百萬+隨機I/Os/sec, 8KDB塊諭側(cè)產(chǎn)品能力Single ServerQ

6、uarter RackHalf RackFull RackSAS7.2 TB21 TB50 TB100 TBRaw Disk1SATA24 TB72 TB168 TB336 TBRaw Flash1384 GB1.1 TB2.6 TB5.3 TBUser Data2SAS2 TB6 TB14TB28 TB(assuming nocompression)SATA7 TB21 TB50 TB100 TB1 - Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1

7、000 bytes.2 User Data: Actual space for end-user data, computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp, logs, undo, and indexes. Actual user data capacity varies by application. User Data capacity calculated using 1 TB = 1024 * 10

8、24 * 1024 * 1024 bytes.Ref: 1/ROOTCORNER/PRACTICESORGANIZATIONS/BUEMEA/DIEMEACT/UK/Sales/Technology%20Solutions%20 and%20Channels/Exadata/References/V1salesspininternalSun_Oracle_Exadata_Technical_Overview.ppt做為MPP網(wǎng)格的單元部件，每個2U單元提供 高達化5 GB/sec原始數(shù)據(jù)帶寬(with Disk) 高達75,000IOPS (with Flash) 高達3.6 GB/sec原始

9、數(shù)據(jù)帶寬(with Flash)智能存儲服務(wù)器構(gòu)成 2x 4核Xeon®E5540 處理器(Nehalem架構(gòu)) 24GB RAM 雙口 4xQDR （40Gbls） InfiniBand接 口 卡 磁盤選項 12x600 GB SAS盤（合計7.2 TB） 12 x2TB SATA盤（合計24 TB）4 x 96 GB Sun Flash PCIe Cards （合計384 GB）軟件預(yù)裝3 year, 24 x 7, 4 Hr On-site responseExadata Smart Storage智能存儲服務(wù)2 突破數(shù)揺處理甫貿(mào)瓶頸及隨臧。囁切I贏區(qū)丹人 Exadata以三種

10、途徑解決數(shù)據(jù)處理帶寬瓶頸大規(guī)模智能存儲網(wǎng)格并發(fā)計算MPP數(shù)據(jù)處理帶寬與數(shù)據(jù)量成正比存儲層負責(zé)數(shù)據(jù)密集型處理SmartScan數(shù)據(jù)庫SQL負荷被分布到存儲層實現(xiàn)，利用大量存在 的存儲層CPU處理本存儲節(jié)點內(nèi)的數(shù)據(jù)-混合型列壓縮HCC,數(shù)據(jù)量降低40倍以上 HCC在降低存儲成本的同時，增加了查詢性能通過Exadata Smart Flash Cache解決隨機10瓶頸隨機I/Os速度提升20倍以上架構(gòu)優(yōu)勢丁主要指標智能存儲OLTP 高可靠高擴展關(guān)豳的禱備端數(shù)擴糜處理邏輸架構(gòu)優(yōu)勢1主要指標架構(gòu)優(yōu)勢丁主要指標智能存儲OLTP 高可靠高擴展 Exadata Storage Server在存儲端進行數(shù)據(jù)密

11、 集型處理 智能掃描SmartScanROW使用“where”謂詞篩選行COLUMN列篩選JOIN聯(lián)接篩選增量備份篩選混合型列壓縮技術(shù)自動透明的存儲索引掃描加密數(shù)據(jù)架構(gòu)優(yōu)勢丁主要指標智能存儲OLTP 高可靠高擴展架構(gòu)優(yōu)勢丁主要指標智能存儲OLTP 高可靠高擴展架構(gòu)優(yōu)勢丁主要指標智能存儲OLTP 高可靠高擴展傳虢嫩輾摩擁摘處霆披術(shù)SELECT customer_name FROM calls WHERE amount >200;基于傳統(tǒng)存儲技術(shù)，全部的 數(shù)據(jù)庫智能存在于數(shù)據(jù)庫主DB主機確定表 的存儲分區(qū)發(fā)起"Os請求I/Os執(zhí)行： 返回彳TB數(shù)據(jù)g參0爰回數(shù)據(jù)行eDB主機篩選彳T

12、B數(shù)據(jù)， 勺得到1000行客戶要求的數(shù)據(jù)，計算并返回給客戶端機。來源于存儲的數(shù)據(jù)大部分被 數(shù)據(jù)庫主機所丟棄。大量的廢棄數(shù)據(jù)占用了寶貴 的數(shù)據(jù)庫主機資源（10、內(nèi) 存和CPU）,嚴重影響其它 任務(wù)執(zhí)行，處理緩慢。架構(gòu)優(yōu)勢丁主要指標智能存儲OLTP 高可靠高擴展問題：昨天 的銷售業(yè)績 如何？Oracle數(shù)據(jù)庫 網(wǎng)格Exadata 智能 存儲層Select sum(sales) whereDate-24-Sepf.構(gòu)建并發(fā)Smart Scan請求 .Smart Scan 在TB級數(shù)據(jù) 中掃描匹配 請求的數(shù)據(jù)SUM僅僅返回滿足廠架構(gòu)優(yōu)勢丁主要指標丁智能存儲OLTP 高可靠高擴展數(shù)據(jù)按列存儲，然后壓縮E

13、xadata混合列壓縮針對教據(jù)倉庫的查詢模式 -為提高速度進行了優(yōu)化 -通常壓縮比可達10倍 -掃描成比例增長針對不常訪問教據(jù)的歸檔模式 -為減小空間進行了優(yōu)化 -通常可達15倍壓縮 -對某些數(shù)據(jù)可達50倍壓縮行壓縮vs列數(shù)據(jù)庫vs混合列壓縮廠架構(gòu)優(yōu)勢丁主要指標丁智能存儲OLTP 高可靠高擴展廠架構(gòu)優(yōu)勢丁主要指標丁智能存儲OLTP 高可靠高擴展壓縮的行列數(shù)據(jù)庫Database BlockSymbol TableRow 2Row 3混合列Compression Unit 1oX22Compression Unit 2很好的隨機行訪問特性非常好的Table Scan5x - 40x 壓縮很好的隨機

14、行訪問特性0K表訪問2x5x壓縮很差的隨機行訪問特性非常好的Table Scan 5x40x壓縮52-qel AqUOTQnpaH Ns壓縮比率： Query = 14.6X Archive = 22.6XVary by application and tableExadata存儲索引無需任何開銷即可透明地消除鑒架構(gòu)優(yōu)勢J主要指標“智能存儲j OLTP 丫高可靠丫高擴展TableIndexMin B = 1Max B =5Min B = 3Max B =8 Exadata存儲索引在內(nèi)存中保存表數(shù)據(jù)的 匯總信息存儲列的MIN和MAX值通常每MB磁盤空間建立一個索引項如果MIN和MAX值不匹配查詢

15、的“where” 子句，則不訪問磁盤I/O完全地_自動化和透明Select * from Table where B<2 僅第一組記錄匹配Exadata存儲索引示例表SALES -'架構(gòu)優(yōu)勢J主要指標智能存儲4 OLTP 丫高可靠丫高擴展Order_dateShip_dateCustJDProdJDAmount03-SEP-200919-SEP-2009100753293210,000.00l03-SEP-200905-SEP-2009200982009820,000.0003-SEP-200907-OCT-2009100892001015,000.0003-SEP-200901

16、-OCT-2009201001000035,000.0003-SEP-200919-OCT-2009803003000010,000.0003-SEP-200903-NOV-200910000203040,000.00對常用列自動收集的摘要存儲在Exadata Storage Serve啲內(nèi)存MINMAXData Chunk #1Order_date03-SEP-200903.SEP-2009Ship_date05-SEP-200907-OCT-2009CustlD1007520098ProdJD2001032932Amount10,00020,000Data Chunk #2Order_da

17、te03-SEP-200903-SEP-2009Ship_date01-OCT-200903-NOV-2009Cust.lD1000080300ProdJD203030000Amount10,00040,000ORACL&Exadata存儲索引示例表SALES -架構(gòu)優(yōu)勢J主要指標“智能存儲j OLTP 丫高可靠丫高擴展WHERE ship_date between ,01-SEP-2009, and ,31-SEP-2009,Onkr_dateShip .dateCu»t_IDProd.DAmountO3GP-2DO9ig-SEP-2009100753283210,000.

18、0003EP-2D0905-SE P-20092D09B2009820,000.0003E P-2009070CT-2D09100892D01015,000.0003E P-200901-OCT-2D09201001000035,000.0003E P-2009igOCT-20098D3003000010,000.0003EP-2D0903-NOV-2D0910000203040,000.00存儲索引將無關(guān)data chunk忽略掉提供類似分區(qū)修剪的功能 Netezza relies upon Zone MapsORACL&對犬型擁摘酌銃他1 TB（壓縮）III100 GB（分區(qū)修剪）

19、10 TB的用戶數(shù)據(jù)需要10TB的IO20 GB5 GB（存儲索引）（智能掃描）在Database Machine上實現(xiàn)亞秒級數(shù)據(jù)減少40倍，掃描加快2000倍©L» OLTP注重數(shù)據(jù)的計算.記錄的插入.刪除與修改，以及簡單的查 詢和統(tǒng)計。它的主要任務(wù)是進行事務(wù)處理，所關(guān)注的是事務(wù)處理的 及時性、完整性和正確性。衡量OLTP性能主要看TPS和響應(yīng)時間影響OLTP性能的主要是存儲系統(tǒng)的IOPS性能 傳統(tǒng)高端存儲架構(gòu)的特點導(dǎo)致IOPS性能的不足，典型高端陣列只能達到 100k+ IOPS。數(shù)據(jù)庫與存儲之間互不了解，無法進行智能優(yōu)化處理解決磁盤隨機I/O瓶頸aaui高可靠丫高擴展

20、?能存儲300 I/O per Sec磁盤可存儲大量數(shù)據(jù)Tens ofThousands of I/O s per Second但每秒的隨機I/O <200- 300 I/Os （8K塊） Flash閃存技術(shù)可存儲少量數(shù)據(jù)(但遠大于DRAM) 但卻能提供每秒幾萬級的I/O理想解決方案-兩者結(jié)合保存大容量數(shù)據(jù)于磁盤保存大比例常用數(shù)據(jù)于閃存(5%/0%)在磁盤和佃sh間透明傳遞數(shù)據(jù)-采用flash cards,而非閃存Disk避免控制器瓶頸在智能存儲服務(wù)器中部署Flash cards高帶寬，低延時數(shù)據(jù)庫邏輯感知Exadata Flash 閃存提供隨機i/o的超級性能?能存儲數(shù)據(jù)庫一體機提供總

21、計5TB的閃存每智能存儲服務(wù)器配置4塊高速閃存卡Smart Flash Cache緩存熱數(shù)據(jù)，但不是采用簡單的LRU算法，庫邏輯感知基于數(shù)據(jù)庫數(shù)據(jù)使用邏輯，知道那些數(shù) 據(jù)應(yīng)該緩存，那些不應(yīng)該緩存允許基于應(yīng)用表進行指定優(yōu)化，如提示高優(yōu)先 級駐留于緩存Oracle is the First Flash Optimized Database蘭三Database Machine可實現(xiàn):隨機I/Os速度比1000塊rAT- hri的企業(yè)級陣列(200KIOPS）快5倍 20+倍隨機IIOs (75K vs. 3.6K per cell)超過1百萬I/Os per Sec 2+倍大數(shù)據(jù)量順序I/O (50

22、GB/S vs. 21 GB/s) 50 GB/sec 40倍更快的響應(yīng)時間 <1 ms極大地降低成本 10倍更少的磁盤I/O需求更低的功耗內(nèi)存中并行執(zhí)行確定所查詢表的大小如果表非常適用于將表的各部分讀到內(nèi)存中并行執(zhí)行每個節(jié)點的緩沖區(qū)緩SQL語句表非常大表非常小讀到任意節(jié)點的緩沖區(qū)緩存中只有同一RAC節(jié)點上的并行服務(wù)器可以訪問每個部分肉壽中并舒軌行QphH:1TBTPCH1,166,976數(shù)據(jù)庫餡.2版引入了對內(nèi)存緩存(D RAM cached)數(shù) 據(jù)的并行查詢處理 -利用整個數(shù)據(jù)庫集群的內(nèi)存容量進行查詢 -1TB TPC-H世界紀錄的基礎(chǔ) 一個 Sun Oracle Database

23、Machine 機架可用DRAM 400GB進行緩存 Exadata混合列存儲可使4TB data in DRAMDRAM比磁盤有400x帶寬比專用內(nèi)存數(shù)據(jù)倉庫更快2架冗余Exadata V2相似的DB服務(wù)器性能$2.3M1xP595 （IBM最快的單機SMP）相似的I/O能力-Both with Flash相似的存儲容量8xlBM DS8300 Turbo避兔磁盤或刪的單點故摩mm鮒 涮 闖碗©w曜翊etui鬆ASMFailure GroupIExadata CellASMFailure GroupEx a data CellDiskGro upASM mirroring is used protect against disk failures ASM fai