1、Copyright2005, 南開創元Introduction to 主存數據庫- 1Altibase主存數據庫產品介紹主存數據庫產品介紹 Altibase Email:guhongxiangg-Copyright2005, 南開創元Introduction to 主存數據庫- 2一、主存數據庫技術簡介一、主存數據庫技術簡介 二、二、 Altibase 主存數據庫特色主存數據庫特色目目 錄錄Copyright2005, 南開創元Introduction to 主存數據庫- 3一、主存數據庫技術簡介一、主存數據庫技術簡介IT市場的需求市場的需求主存數據庫概念主存數據庫概念技術發展歷程技術發展歷程

2、主存數據庫和磁盤數據庫的比較主存數據庫和磁盤數據庫的比較主存數據庫應用的必要性和可行性主存數據庫應用的必要性和可行性應用領域應用領域Copyright2005, 南開創元Introduction to 主存數據庫- 4主存數據庫概念 主存數據庫( MMDB: Main Memory Database )是將所有數據存于物理內存，因此能夠不需要訪問磁盤直接訪問數據，從而獲得極高的存取速度和極強的并發訪問能力的數據庫系統。 主存數據庫與傳統的基于磁盤的數據庫系統（DRDB,Disk-Resident Database）的重大區別在于數據的存儲介質和針對物理內存而特別設計的數據儲存結構的存取機制，一

3、般存取速度的增加在10至1000倍左右。 主存數據庫定義主存數據庫定義主存數據庫和磁盤數據庫的區別主存數據庫和磁盤數據庫的區別Copyright2005, 南開創元Introduction to 主存數據庫- 5主存數據庫技術發展歷程 從上個世紀從上個世紀60年代末到年代末到80年代初。在這個時期中，出現了主存數年代初。在這個時期中，出現了主存數據庫的雛形。據庫的雛形。1969年年IBM公司研制了世界上最早的數據庫管理系統公司研制了世界上最早的數據庫管理系統-基于層次模型的數據庫管理系統基于層次模型的數據庫管理系統IMS，并作為商品化軟件投入并作為商品化軟件投入市場。在設計市場。在設計IMS時

4、，時，IBM考慮到基于內存的數據管理方法，相應考慮到基于內存的數據管理方法，相應推出了推出了IMS/VS Fast Path。 Fast Path是一個支持內存駐留數據的商業化數據庫，但它同時也是一個支持內存駐留數據的商業化數據庫，但它同時也可以很好地支持磁盤駐留數據。在這個產品中體現了主存數據庫的可以很好地支持磁盤駐留數據。在這個產品中體現了主存數據庫的主要設計思想，也就是將需要頻繁訪問，要求高響應速度的數據直主要設計思想，也就是將需要頻繁訪問，要求高響應速度的數據直接存放在物理內存中訪問和管理。在這個階段中，包括網狀數據庫、接存放在物理內存中訪問和管理。在這個階段中，包括網狀數據庫、關系數

5、據庫等其他各種數據庫技術也都逐漸成型。關系數據庫等其他各種數據庫技術也都逐漸成型。 雛形期雛形期Copyright2005, 南開創元Introduction to 主存數據庫- 6主存數據庫技術發展歷程n1984年，年，D J DeWitt等人發表了主存數據庫系統的實現技術一文。等人發表了主存數據庫系統的實現技術一文。n第一次提出了第一次提出了Main Memory Database（主存數據庫）的概念主存數據庫）的概念 n預言當時異常昂貴的計算機主存價格一定會下降，用戶有可能將大容量的數據庫預言當時異常昂貴的計算機主存價格一定會下降，用戶有可能將大容量的數據庫全部保存在主存中全部保存在主存

6、中 n提出了提出了AVL樹、哈希算法、主存數據庫恢復機制等主存數據庫技術的關鍵理論，樹、哈希算法、主存數據庫恢復機制等主存數據庫技術的關鍵理論，為主存數據庫的發展指出了明確的方向為主存數據庫的發展指出了明確的方向 n1984年，年，D J DeWitt等人提出使用非易逝內存或預提交和成組提交技術作為主存數據庫等人提出使用非易逝內存或預提交和成組提交技術作為主存數據庫的提交處理方案，使用指針實現主存數據庫的存取訪問。的提交處理方案，使用指針實現主存數據庫的存取訪問。n1985年，年，IBM推出了推出了IBM 370上運行的上運行的OBE主存數據庫主存數據庫 n1986年，年，RB Hagman提

7、出了使用檢查點技術實現主存數據庫的恢復機制。威斯康星大提出了使用檢查點技術實現主存數據庫的恢復機制。威斯康星大學提出了按區雙向鎖定模式解決主存數據庫中的并發控制問題。并設計出學提出了按區雙向鎖定模式解決主存數據庫中的并發控制問題。并設計出MM-DBMS主存數據庫。貝爾實驗室推出了主存數據庫。貝爾實驗室推出了DALI主存數據庫模型。主存數據庫模型。 n1987年，年，ACM SIGMOD會議中提出了以堆文件（會議中提出了以堆文件（HEAP FILE）作為主存數據庫的數作為主存數據庫的數據存儲結構。據存儲結構。Southern Methodist大學設計出大學設計出MARS主存數據庫模型。主存數據

8、庫模型。n1988年普林斯頓大學設計出年普林斯頓大學設計出TPK主存數據庫。主存數據庫。 n1990年普林斯頓大學又設計出年普林斯頓大學又設計出System M主存數據庫。主存數據庫。 技術理論成熟期技術理論成熟期Copyright2005, 南開創元Introduction to 主存數據庫- 7主存數據庫技術發展歷程n隨著互聯網的發展，越來越多的網絡應用系統需要能夠支持大用戶量并發訪問、隨著互聯網的發展，越來越多的網絡應用系統需要能夠支持大用戶量并發訪問、高響應速度的的數據庫系統，主存數據庫市場成熟高響應速度的的數據庫系統，主存數據庫市場成熟 n半導體技術快速發展，半導體內存大規模生產，動

9、態隨機存取存儲器（半導體技術快速發展，半導體內存大規模生產，動態隨機存取存儲器（DRAM）的容量越來越大，而價格越來越低，這無疑為計算機內存的不斷擴大提供了硬件的容量越來越大，而價格越來越低，這無疑為計算機內存的不斷擴大提供了硬件基礎，使得主存數據庫的技術可行性逐步成熟基礎，使得主存數據庫的技術可行性逐步成熟 n1994年美國年美國OSE公司推出了第一個商業化的，開始實際應用的主存數據庫產品公司推出了第一個商業化的，開始實際應用的主存數據庫產品 Polyhedra n1998年德國年德國SoftwareAG推出了推出了Tamino Database。 n1999年日本年日本UBIT會社開發出會

10、社開發出XDB主存數據庫產品。韓國主存數據庫產品。韓國Altibase推出推出Altibase n2000年奧地利的年奧地利的QuiLogic公司推出了公司推出了SQL-IMDB n2001年美國年美國McObject推出推出eXtremeDB。加拿大加拿大Empress公司推出公司推出EmpressDB 產品發展期和市場成長期產品發展期和市場成長期Copyright2005, 南開創元Introduction to 主存數據庫- 8主存數據庫技術發展歷程幾種主存技術應用的比較幾種主存技術應用的比較第一代第一代 : 用戶定制的主存數據庫用戶定制的主存數據庫 通過應用程序來管理內存和數據. (主

11、要目的: 提高性能) 不支持SQL語句, 不提供本地存儲, 沒有數據庫恢復技術 性能好但很難維護和在別的應用中不能使用。 應用在實時領域比如工廠自動化生產。第二代第二代 : 簡單功能的主存數據庫簡單功能的主存數據庫 能夠快速處理簡單的查詢 支持部分的 SQL語句和簡單的恢復技術 主要目的是能夠快速處理大量事務 針對簡單事務處理領域,尤其是交換機, 移動通信等第三代第三代 : 通用的主存數據庫通用的主存數據庫 針對傳統的商業關系型數據庫領域，能夠提供更高的性能、通用性以及穩定性. 提供不同的接口來處理復雜的SQL語句和滿足不同的應用領域 可以應用在計費、電子商務、在線安全領域，幾乎包括磁盤數據庫

12、的所有應用領域Copyright2005, 南開創元Introduction to 主存數據庫- 9主存數據庫和磁盤數據庫的比較數據存儲數據存儲 1、在磁盤上存儲數據庫在磁盤上存儲數據庫查詢算法查詢算法 2、使用使用B-Tree算法進行查詢算法進行查詢 查詢優化查詢優化 3、需要復雜的查詢優化需要復雜的查詢優化 （減少磁盤（減少磁盤I/O瓶頸）瓶頸）寫入速度寫入速度 4、寫入數據速度一般寫入數據速度一般磁盤數據庫磁盤數據庫主存數據庫主存數據庫數據存儲數據存儲 1、在內存中存儲數據庫在內存中存儲數據庫查詢算法查詢算法 2、使用使用T-Tree算法進行查詢算法進行查詢查詢優化查詢優化 3、簡單的查

13、詢優化簡單的查詢優化 （不存在磁盤（不存在磁盤I/O瓶頸）瓶頸）寫入速度寫入速度 4、寫入數據比磁盤數據庫快寫入數據比磁盤數據庫快 10至至1000倍以上倍以上Copyright2005, 南開創元Introduction to 主存數據庫- 10主存數據庫應用的必要性高速聚集的海量信息高速聚集的海量信息快速增長的用戶群快速增長的用戶群互聯網的快速發展互聯網的快速發展需要新型數據庫管理系統需要新型數據庫管理系統 主存數據庫管理系統主存數據庫管理系統極高的數據存取速度極高的數據存取速度極強的并發訪問能力極強的并發訪問能力滿足大量并發訪問滿足大量并發訪問快速處理海量信息快速處理海量信息磁盤數據庫管

14、理系統磁盤數據庫管理系統數據庫系統處理能力不足數據庫系統處理能力不足 信息服務遇到信息服務遇到瓶頸瓶頸 信息管理系統信息管理系統技術要求技術要求Copyright2005, 南開創元Introduction to 主存數據庫- 11主存數據庫應用的可行性主存數據庫應用的可行性v 半導體內存大規模生產，動態隨機存取存儲器（DRAM）的容量越來越大，而價格越來越低，這無疑為計算機內存的不斷擴大提供了硬件基礎，使得主存數據庫的經濟可行性逐步成熟。 經濟可行性技術可行性v 64bit 芯片的普及。系統最大尋址空間決定了數據庫容量。主存 : 32 bit = 最大 4GB 尋址空間 64 bit = 幾

15、乎無限的尋址空間v 高穩定性操作系統出現UNIX等操作系統發展到近年來已經非常穩定，可以承受的住幾個月，甚至一年的不停的運轉。這樣的可靠性能大大減少了數據庫系統的風險。010020030040050060070080020002001200220032000-2003年128M SDRAM價格價格Copyright2005, 南開創元Introduction to 主存數據庫- 12主存數據庫應用模式-嵌入式系統模式航空航天系統大型IP路由系統電信通信交換系統主存數據庫APIAPI 衛星通訊系統實時嵌入式操作系統應用應用 1 1APIAPI應用應用 2 2APIAPI應用應用 n n應用應用

16、n n嵌入式系統嵌入式系統火車站智能交通控制系統IBMCopyright2005, 南開創元Introduction to 主存數據庫- 13主存數據庫應用模式混合模式磁盤數據庫服務器磁盤數據庫服務器(Oracle, Informix, Sybase, DB2, )(Oracle, Informix, Sybase, DB2, )冷數據區冷數據區存儲歷史數據等存儲歷史數據等冷數據冷數據(80%)(80%)熱數據熱數據(20%)(20%)主存數據庫和磁盤數據庫混合使用成為主存數據庫和磁盤數據庫混合使用成為可以承擔高速事務處理的關系型數據庫可以承擔高速事務處理的關系型數據庫熱數據區熱數據區存儲實時

17、數據等存儲實時數據等管理機制管理機制Copyright2005, 南開創元Introduction to 主存數據庫- 14主存數據庫應用領域混合模式應用v電子商務領域 電子商務網絡運營商 ,實時行情顯示、網上銀行、網上證券交易系統、航空訂票 系統、 國際貿易互聯網談判交易系統等大型的電子商務平臺.v 通信領域 通信計費營帳系統，預付費業務，前臺營業處理、實時網絡管理系統、CTI技術、WAP服務器、智能網絡服務、增值服務系統. v 多樣化的網絡終端服務系統 為便攜電腦、手機、攜帶終端、游戲機、網絡電視等網絡終端提供互聯網服務 v 實時系統領域 控制系統與自動化工程、電信通信、網絡通信、航空航天

18、、雷達信號處理、智能交通管理、實時GIS系統、鐵道工程、POS銷售終端、醫療儀器、車載信息系統、瘦客戶機等 嵌入式系統模式應用Copyright2005, 南開創元Introduction to 主存數據庫- 15數據網管數據網管傳輸網管傳輸網管話務網管話務網管oss門戶認證門戶認證BSS財務分析財務分析經營分析經營分析市場分析市場分析CRMMSSWeb Log EditorWebWeb Logs主存數據庫主存數據庫主存數據庫電信應用領域Copyright2005, 南開創元Introduction to 主存數據庫- 16二、二、Altibase 主存數據庫產品介紹主存數據庫產品介紹Alti

19、base 主存數據庫主存數據庫Altibase DBMS服務器特色服務器特色Altibase 與商用磁盤數據庫比較與商用磁盤數據庫比較Altibase DBMS復制功能復制功能Altibase DBMS產品構成產品構成Altibase 應用領域應用領域Copyright2005, 南開創元Introduction to 主存數據庫- 17Altibase 主存數據庫v 目前世界上最先進的主存數據庫目前世界上最先進的主存數據庫v Altibase Co., LtdAltibase Co., Ltd成立與成立與19991999年年1111月，先后與韓國電子通訊研究院月，先后與韓國電子通訊研究院 和

20、美國和美國CONSOCIO Inc. CONSOCIO Inc. 合作合作v 目前已應用于韓國目前已應用于韓國80%80%的電信廠商和運營商的電信廠商和運營商 （包括韓國電信，（包括韓國電信，SamsunSamsung .g . ) )Copyright2005, 南開創元Introduction to 主存數據庫- 18問題Altibase的增強v 磁盤磁盤DBMSDBMS的局限的局限 性能上的不滿意性能上的不滿意 對整個系統過重的負擔對整個系統過重的負擔v 由于應用的局限性造成的不通用由于應用的局限性造成的不通用v 開發以及維護非常困難開發以及維護非常困難v 系統可用性、靈活性和效率方面的

21、降低系統可用性、靈活性和效率方面的降低磁盤 DBMS用戶定制用戶定制實時系統領域Copyright2005, 南開創元Introduction to 主存數據庫- 19Altibase 主存數據庫的物理結構Server Threads Table ATable CMemory DB Datafiles Log filesLoganchorAltibase Database Datafile 1v 檢查點操作：同步內存和磁盤數據文件中的數據v Loganchor ： 儲存磁盤數據文件和日志文件的相關信息v 磁盤數據文件，Loganchor和日志文件保障了在事務失敗 / 系統故障 / 媒體故障時可

22、對數據庫 進行完全恢復 Copyright2005, 南開創元Introduction to 主存數據庫- 20v Altibase 數據庫內存領域數據庫內存領域 : 32K(217) Page的集合的集合Local(Process) or Shared Memory v Altibase 主存數據庫最大容量主存數據庫最大容量 32 Bit O/S : 可擴展到可擴展到 217 Page 64 Bit O/S : 可擴展到可擴展到 249 PageLocal or Shared Memory 均能自動擴展均能自動擴展Altibase 主存數據庫內存結構Copyright2005, 南開創元In

23、troduction to 主存數據庫- 21Altibase DBMS 產品構架Altibase Product ArchitectureData ReplicationClient & Server Applications/ToolsReal-Time Application PgmsPhysical Memory 簡潔的內存索引簡潔的內存索引 直接的數據地址管理直接的數據地址管理 內存最佳數據結構內存最佳數據結構 內存最佳算法內存最佳算法Unlimited Database Size with 64bitDisk StructuresData PageProcess or Shared

24、 MemoryAltibase(Tables and Indices)IPC | UNIX DOMAIN | TCP/IPE/SQL | CLI | ODBC | JDBCDatafilesLoganchorLogfilesCopyright2005, 南開創元Introduction to 主存數據庫- 22Hot TablesHot Tables(100%)(100%)Small sized DBSmall sized DBAltibase DBMS Altibase DBMS App.App.單獨使用Altibase將全部數據和管理駐留在內存中將全部數據和管理駐留在內存中. .v 針對需

25、要高速處理的應用領域 CTI or HLR 實時處理系統 自動化處理、智能交通Copyright2005, 南開創元Introduction to 主存數據庫- 23Cold TablesCold Tables(80%)(80%)HotHot Tables Tables(20%)(20%)Disk DBMSDisk DBMS(Oracle, Informix, Sybase, DB2, )(Oracle, Informix, Sybase, DB2, )Altibase DBMS ApAltibase DBMS App.p.Disk DBMS App.Disk DBMS App.如何與磁盤數據

26、庫聯用Altibase DBMS ApAltibase DBMS App.p.Disk DBMS App.Disk DBMS App.Hot Tables,Hot Tables, Gathering Real-time Data, Gathering Real-time Data,Shared Tables, etcShared Tables, etcStoring Cold Tables,Storing Cold Tables,History Data, etcHistory Data, etcAltibase DBMS ServerAltibase DBMS ServerCopyright

27、2005, 南開創元Introduction to 主存數據庫- 24Reference Site (V)Altibase 適用方案v 選擇時間消耗較大的的已有應用程序，轉換成 Altibase 的應用程序v 為了優化內存大小，把 應用程序使用的數據從 Oracle 提取，載入到 Altibasev 根據需要把在 Altibase 變更的數據反映到 Oraclev 數據提取, 載入, 應用程序執行等一系列 DB工作過程自動化處理Disk Based RDBMSMigrationImportPerformance-hungry APs Altibase ExportDisk Based RDBM

28、SSyncSyncHot Transaction App.Copyright2005, 南開創元Introduction to 主存數據庫- 25Reference Site (V)Altibase 適用方案 (注意事項)v 為了使用為了使用 Altibase，首先要進行首先要進行data sizing，必須確保內存可以容納所有的數據和應用程序運行開銷必須確保內存可以容納所有的數據和應用程序運行開銷 。Copyright2005, 南開創元Introduction to 主存數據庫- 26ClientServerLockManagerRecoveryManagerTransactionMana

29、gerMemoryManagerCheckpointManagerLogManagerIndexManagerDictionaryManagerSQLParserOptimizerSQLExecutorStoredProcedureExtendedModuleManagerReplicationManagerSessionManagerAltibase DBMS 組成部分Copyright2005, 南開創元Introduction to 主存數據庫- 27Altibase DBMS 服務器特色Altibase DBMS Server Feature綜合了主存數據庫領域目前已知的最先進的技術綜

30、合了主存數據庫領域目前已知的最先進的技術.存儲管理存儲管理v 用用MVCC (Multi Version Concurrency Control)MVCC (Multi Version Concurrency Control)實現并發控制實現并發控制 使事務之間的沖突最小化. 記錄的讀/寫操作中不使用Lock和Latch v 實現死鎖檢測實現死鎖檢測v 保存點保存點 (Implicit, Explicit) (Implicit, Explicit)v Fuzzy & Ping-pong Fuzzy & Ping-pong檢查點檢查點v 支持動態、共享內存數據庫結構支持動態、共享內存數據庫結構

31、數據庫在運行時可以自動擴展v 支持支持T-Tree, T-Tree, 部分部分B+-Tree, R-TreeB+-Tree, R-Treev 為了系統的多樣性，在內存中或者磁盤上支持多種數據文件的格式為了系統的多樣性，在內存中或者磁盤上支持多種數據文件的格式 數據文件和日志文件可以在不同的目錄 數據文件可以由多個文件組成Copyright2005, 南開創元Introduction to 主存數據庫- 28支持完整的支持完整的SQL92標準標準.查詢處理查詢處理Altibase DBMS 服務器特色多種內建函數多種內建函數v 基于基于WAL(Write Ahead Logging)WAL(Wr

32、ite Ahead Logging)的日志的日志 v 檢查點檢查點 臟頁寫到磁盤上. 調整日志信息. (自動刪除日志存檔). 管理當前處理的事務的信息. v 在線備份在線備份v 恢復的范圍恢復的范圍 : : 事務失敗事務失敗 / / 系統故障系統故障 / / 媒體故障媒體故障日志日志 & 恢復恢復聚合，數字，字符，日期，轉換，其它（聚合，數字，字符，日期，轉換，其它（Decode等）等）v 嵌套查詢沒有限制嵌套查詢沒有限制v 表表join沒有限制沒有限制v 用用Hint調節查詢調節查詢v 執行計劃執行計劃v 擴展擴展DDLv 查詢優化查詢優化(CBO & RBO)增強增強v 支持復雜查詢支持復

33、雜查詢v 支持分等級查詢支持分等級查詢Copyright2005, 南開創元Introduction to 主存數據庫- 29應用開發環境應用開發環境v 提供標準提供標準CLI, ODBC, JDBC.CLI, ODBC, JDBC.v 提供提供Embedded SQL (Embedded SQL (預編譯程序預編譯程序) ) 類似于 Oracle Pro*C/C+ 原來使用原來使用OracleOracle的的開發者很容易適應，可以降低開發開發者很容易適應，可以降低開發和維護成本，減少開發周期和維護成本，減少開發周期. . 支持多線程客戶端v 支持存儲過程支持存儲過程v 支持本地存儲過程支持本

34、地存儲過程(Native Stored Procedure)(Native Stored Procedure)( (嵌入式架構的替代功能嵌入式架構的替代功能) ) v 支持支持XAXA接口接口, ,負載平衡負載平衡v R-Tree (R-Tree ( OpenGIS OpenGIS 標準標準) )v 提供各種工具提供各種工具 Sql 交互工具, dbadmin, audit, shmutil, , 等等.Altibase DBMS 服務器特色Copyright2005, 南開創元Introduction to 主存數據庫- 30Altibase vs. Disk DBMSv Memory Co

35、py Overhead 硬盤 RDBMS 的 application 不能直接訪問數據庫內存緩存中的特定記錄， 所以把記錄拷貝到內存進行操作。 但 Altibase 的所有的數據都存在于內存，所以直接訪問特定記錄。v Buffer Management Overhead 硬盤 RDBMS 把數據讀到內存緩存中使用時, 需要內存緩存往硬盤寫 old pages 和變更數據狀態的工作。DBMS “Engine”Run-Time DatabaseAltibaseMemory Copy Overhead Search Translation Overhead Buffer Mgmt Overhead

36、Excess Features OverheadAltibase Main Memory RDBMSDisk based RDBMSData PageDisk-OptimizedRDBMS EngineApplication ProgramsProcess or Shared MemoryCopyright2005, 南開創元Introduction to 主存數據庫- 31Altibase vs. Disk DBMSCPUPhysical MemoryDatabaseTablesIndicesBackup DBDatafile 1Logfile nDBSLOGSCPUPhysical Mem

37、oryBufferDatabaseDatafilesControlfilesRedofiles訪問內存最佳的索引結構訪問內存最佳的索引結構(使用使用 T-Tree )數據查詢算法本身就很簡單數據查詢算法本身就很簡單 (減少減少 CPU Time 占有率占有率) 減少系統的負荷減少系統的負荷數據數據 caching 沒有沒有多余的數據拷貝多余的數據拷貝(Disk I/O)，減少了系統減少了系統負荷，負荷，Recovery 時時只發生必需的，最只發生必需的，最少少I/OSystem tablespaceUser tablespaceTable tablespaceIndex tablespaceR

38、ollback tablespaceTemporary tablespaceLogLogfile1Log anchorCopyright2005, 南開創元Introduction to 主存數據庫- 32Altibase vs. Disk DBMS （內存管理）DBMS 的查詢最佳算法的基本在于減少硬盤 I/O 次數DBMS 不能排除數據存在于硬盤的假設，所以使用了假設數據存在于硬盤的 最壞(worst case)情況的算法 v Altibase 的所有數據都存在于主存中，所以不需要考慮數據存在于硬盤的最壞情況，只需使用 最佳的算法訪問數據 假設數據存在于磁盤假設數據存在于磁盤復雜的查詢算法

39、復雜的查詢算法增加增加CPU Time 數據常駐主存數據常駐主存 簡單的查詢算法簡單的查詢算法減少減少CPU Time 已有基于硬盤的已有基于硬盤的DBMS Altibase Main Memory DBMS Copyright2005, 南開創元Introduction to 主存數據庫- 33Altibase vs. Disk DBMS（索引算法）B-tree Index T-tree Index 無需把邏輯地址變換成物理地址 (直接指向相當于入口的紀錄的內存地址) 邏輯地址變換成物理地址的工作 (包含的數據頁相當于入口的記錄)T-tree entryT-tree nodememory d

40、ata blockB-tree EntryKey-value RIDB-tree NodeData pageSlot基于硬盤的基于硬盤的DBMS Altibase Main Memory DBMS Copyright2005, 南開創元Introduction to 主存數據庫- 34Altibase vs. Disk DBMSv 索引日志索引日志 Altibase一般不做對索引的日志一般不做對索引的日志，所以日志的量很少所以日志的量很少.v 檢查點算法檢查點算法 表面看起來只把臟頁存儲到磁盤備份數據區，其實為了對在線事務處理施表面看起來只把臟頁存儲到磁盤備份數據區，其實為了對在線事務處理施

41、加最小的影響，使用了加最小的影響，使用了Ping-pong & 模糊檢查點方法模糊檢查點方法.v 因為所有數據都在內存中，所以讀取數據時沒有相關索引的因為所有數據都在內存中，所以讀取數據時沒有相關索引的 I/O， 提高了更新和刪除操作的速度提高了更新和刪除操作的速度.Copyright2005, 南開創元Introduction to 主存數據庫- 35Altibase vs. Disk DBMS （不間斷服務構成方法）RAC(OPS)Disk ClusteringReplicationDiskDiskCopyright2005, 南開創元Introduction to 主存數據庫- 36Al

42、tibase vs. Disk DBMS （總結） 產品區分產品區分Altibase DBMSDisk Based DBMS系統系統數據模型數據模型關系型關系型結構結構Client/ServerClient/Server服務器結構服務器結構Multi-ThreadProcess索引結構索引結構使用了內存最佳訪問算法T-Tree使用B*Tree 處理同量事處理同量事務時系統性務時系統性能能CPU 使用率使用率使用簡單的查詢算法CPU 使用量最小化使用復雜的查詢算法 CPU 使用率高DISK I/O只在 Recovery 時發生最低限度的 I/O, Insert, Update, Delete 時

43、不發生直接的Disk I/O Insert, Update, Delete 時發生直接的 Disk I/O , 數據 caching(Select)時進行數據拷貝發生不必要的 I/O事務處理性事務處理性能能(OLTP) 比較比較INSERT5,740350UPDATE5,898323SELECT6,5002,530DELETE5,502340不間斷服務不間斷服務體現方式體現方式利用 Network 的復制方法無需添加 H/W ，可以容易的體現RAC(OPS) 結構時, 必須進行 DISK Clustering，體現起來比較復雜性能性能組成服務器的性能下降不到 10% 組成服務器的性能下降 30

44、40% 費用費用無需另外費用需另行購買 RAC(OPS), 還有對硬件的 Disk Clustering 及 Clustering S/W 費用缺點缺點設計系統時, 要考慮數據沖突被 Cluster 的硬盤故障時沒有應付方法服務擴展性服務擴展性體現方式體現方式利用 N-Way 復制在服務增加時容易擴展服務增加時,可能要更換服務器 H/WCopyright2005, 南開創元Introduction to 主存數據庫- 37測試部門測試部門Taiwan Chunghwa Telecom 測試結果v Telecommunication Laboratories BU8 PS Team測試實驗室環境

45、測試實驗室環境 v SUN E4500 ,2GB main memory, 2CPUs, SUN OS 5.8. v Access 100,000 records which include Number and Char type. 測試實驗室結果測試實驗室結果測試項目Disk Based DBMSAltibase3 MMDBInsert 100,000 records took100 seconds1,000 tps7 seconds14,286 tps Update 100,000 records took115 seconds870 tps 5 seconds20,000 tpsDel

46、ete 100,000 records took 123 seconds813 tps 3 seconds33,333 tpsTruncate Table took2 seconds1 secondCopyright2005, 南開創元Introduction to 主存數據庫- 38Altibase 與商用磁盤數據庫性能比較 測試環境測試環境：Server:Server: sun E-450sun E-450memory: 4GBmemory: 4GBCPU: 2 CPU: 2 * * 400Mz 400Mz 測試部門：韓國測試部門：韓國 Altibase Altibase 公司和韓國公司和

47、韓國三星電子三星電子 比較產品：比較產品：Altibase DBMS Altibase DBMS 和和 Disk Based DBMSDisk Based DBMS 測試工具：測試工具：TPC-BTPC-B, TPC-H Benchmark, TPC-H Benchmark 性能標準：性能標準：TPS (Transaction Per Second)TPS (Transaction Per Second)，每秒事務處理量每秒事務處理量Copyright2005, 南開創元Introduction to 主存數據庫- 39性能比較簡單查詢性能測試0100200300400500600700800

48、9001,000,0005,000,00010,000,000磁盤 DBMSAltibase3數據量TPSTPC-B測試結果：測試結果：Altibase處理能力比磁盤數據庫快處理能力比磁盤數據庫快10倍以上倍以上Copyright2005, 南開創元Introduction to 主存數據庫- 40050010001500200025001,000,0005,000,00010,000,000磁盤DBMSAltibase3Altibase3(NSP)數據量TPSTPC-B測試結果：使用測試結果：使用NSP使得使得Altibase的處理能力有進一步的提升（的處理能力有進一步的提升（2.5倍）倍）

49、性能比較簡單查詢性能測試(NSP)Copyright2005, 南開創元Introduction to 主存數據庫- 41性能比較 TPC-H測試v TPC-H Test是反映現代復雜商務情況的國際是反映現代復雜商務情況的國際DBMS性能測試基準性能測試基準v 測試適用于無法預測數據和頻繁變化的網絡環境的測試適用于無法預測數據和頻繁變化的網絡環境的DBMS的基準的基準v 由由22個復雜的個復雜的SQL語句構成語句構成什么叫什么叫TPC-H Test ?05101520253035Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10Q11Q12Q13Q14Q15Q16Q17Q18Q19Q20Q21Q22T

50、PC-H倍數1測試結果：測試結果：Altibase的復雜查詢處理能力比磁盤數據庫有整體的提高的復雜查詢處理能力比磁盤數據庫有整體的提高Copyright2005, 南開創元Introduction to 主存數據庫- 42TPC-H 性能測試 (Altibase VS Disk DBMS)v Demonstrates multiple aspects of a servers ability to process queries in order to give answers Demonstrates multiple aspects of a servers ability to proc

51、ess queries in order to give answers to critical business questions of real-world. to critical business questions of real-world. v Evaluates a DBMSs ability to process unexpected data and apply to network environments with Evaluates a DBMSs ability to process unexpected data and apply to network env

52、ironments with frequent change. frequent change.v Consists of 22 of complex SQL statements. Consists of 22 of complex SQL statements. QUERY Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 ORACLE 285.542.9593.186.3348.5323.1844.3824.2697.5124.544.94134.68BEST 83.350.275.971.9927.214.786.5420.9526.6214.141.466

53、.26ToDay 91.050.338.282.944.6818.119.2627.3136.8816.51.777.06Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q2272.893.7123.2114.047.02111.9329.1563.92204.797.7816.762.661.8210.990.1336.931.8316.95182.733.2417.423.421.9811.580.2444.611.9622.74232.073.49Copyright2005, 南開創元Introduction to 主存數據庫- 43復制的必要性復制的必要性Alt

54、ibase DBMS復制特色高可用性高可用性v 當系統發生故障時，可以立即訪問down掉的數據存儲的復制體。v 靠分配工作量到多個節點保證可伸縮性。 DBMSAPAP v 可能是 故障點. 可用性可用性 = 1 pn (p = down機的可能性機的可能性) 例如：如果 p = 5%,有復制的數據庫系統 的可用性增加到 99.75%.DBMSAPAP v 會發生 瓶頸. 降低系統響應時間 限制系統吞吐量負載平衡負載平衡(增強性能增強性能)Copyright2005, 南開創元Introduction to 主存數據庫- 44數據庫產品的復制方式：1.在一個應用程序中執行復制: 當服務器性能降低

55、和發生故障時很難保持數據庫的 一致性.2.通過傳送查詢語句執行復制: 負載平衡效率低，難以驗證數據沖突 3.通過傳送執行計劃執行復制: 數據傳輸的增加大大增加了通信量. 4.通過轉換日志為查詢語句執行復制: 轉換和查詢處理的成本很高. 5.通過將發送的日志轉換為執行計劃執行復制通過將發送的日志轉換為執行計劃執行復制: 需要轉換成本，但是能夠提高復制的性能需要轉換成本，但是能夠提高復制的性能. 6.像服務器恢復一樣發送日志，執行復制: 速度快，但是不能實現active-active模式.Altibase DBMS復制特色實現復制的方法實現復制的方法 基于日志的復制基于日志的復制v Altibas

56、e 復制技術采用了讀取儲存事務內容的日志文件復制技術采用了讀取儲存事務內容的日志文件，并發給從復制服務器的同步方式并發給從復制服務器的同步方式. 所以不會所以不會影響在主復制服務器進行的事物，只發生線程讀取日志文件和創建事務并發送的負荷，所以只要影響在主復制服務器進行的事物，只發生線程讀取日志文件和創建事務并發送的負荷，所以只要CPU資資源允許幾乎沒有性能下降源允許幾乎沒有性能下降.Copyright2005, 南開創元Introduction to 主存數據庫- 45Altibase DBMS復制特色復制特性復制特性拓撲結構拓撲結構v 支持點支持點-點的復制點的復制.v 通過支持通過支持N向

57、復制提供星型架構的復制拓撲結構向復制提供星型架構的復制拓撲結構. 提高系統的容錯、容災能力 提供系統的負載均衡能力 v 基于日志基于日志 在數據庫日志的基礎上實現復制 使服務器的負荷最小化使服務器的負荷最小化 復制時保持standalone性能的90%以上.v 表級的復制表級的復制 可以復制整個數據庫中的表的一部分. 提高操作效率提高操作效率 v 實時復制實時復制 支持實時事務處理的實時復制 簡化實時服務的實現簡化實時服務的實現 提高可用性 當系統發生故障時，可以立即訪問當系統發生故障時，可以立即訪問downdown掉的數據存儲的復制掉的數據存儲的復制體，這樣可以實現系統服務的連續性體，這樣可

58、以實現系統服務的連續性. .v 高穩定性高穩定性 檢測服務器的故障和網絡錯誤并進行適當的錯誤處理. 通過復制恢復保持數據的一致性通過復制恢復保持數據的一致性. . 現在, 在30多個站點的150多個系統中正在運行著Altibase的復制系統 Copyright2005, 南開創元Introduction to 主存數據庫- 46Altibase DBMS Server ARep_ManagerRep_ManagerAB_SenderAB_ReceiverAB_SenderAC_SenderAC_ReceiverRep_ManagerAltibase DBMS Server BAltibase

59、DBMS Server CREP_ABREP_ACAB_ReceiverAltibase 復制特色 線程結構線程結構 與服務同步與服務同步 & 減少處理開銷減少處理開銷 包括包括管理器，發送器，接收器管理器，發送器，接收器線程線程 使占用的內部資源最小化使占用的內部資源最小化復制的內部結構復制的內部結構Copyright2005, 南開創元Introduction to 主存數據庫- 47Server ATable AAltibaseServer BAltibaseServer CAltibaseTable ATable AInsert, Update, DeleteInsert, Updat

60、e, DeleteTransaction Transaction Table ATable A Why Server B does not send XLOG transmitted from Server A to Server C?: Why Server B does not send XLOG transmitted from Server A to Server C?: Because infinite loop can occur if Table A was replicated between Server A and Server C. Because infinite lo