1、目 錄一研究內容21.1 主要研究的內容和特點21.1.1 信息系統應用現狀21.1.2 存在的主要問題31.2技術原理及結構31.2.1 概述31.2.2 設計原則51.2.3 災備技術規劃51.2.4 容災備份軟件設計111.2.5系統網絡拓撲結構241.3 關鍵技術及創新點251.3.1 問題的提出251.3.2 面臨的主要技術難題261.3.3 實現的方法及原理271.3.4 技術創新點271.4 本研究達到的技術水平28二. 主要技術指標282.1研究的試驗方法282.2技術路線302.3已達到的技術指標30三、主要技術、經濟指標對比分析(國內外最先進的)31四、存在問題及今后的目標

2、31基于虛擬中間件服務器技術的財政綜合災備系統研究與實現技術報告一 研究內容隨著無錫市財政局信息化的進一步發展，信息系統的重要性越來越高，其中預算執行付系統、非稅收入系統、契稅征管系統、建設資金管理四個系統的重要性更高，系統數據需要進行實時容災，保證業務系統7x24連續不間斷運行。因此，無錫市財政局災備系統（以下簡稱災備系統）的建設目標是保證業務系統7x24連續不間斷運行的應用災備，這是災備系統級別最高的目標。傳統把“備份/恢復”的技術領域，稱為離線數據保護，就難以滿足要求。必須尋求新的技術途徑來實現。1.1主要研究的內容和特點1.1.1 信息系統應用現狀由于財政工作職能和要求的多樣性以及財政

3、業務的開拓發展，使得支撐各項業務開展的軟件系統越來越多。現有各類大小業務系統20多個，有涉及財政收支的預算執行系統、非稅收入征繳系統、契稅征管系統、財稅庫系統，有支持全局辦公的辦公自動化系統、內外網站系統、郵件系統，以及關系財政業務的部門預算系統、預算級次核定系統、會計信息管理系統、土地出讓金系統、建設資金管理系統、內控系統、賬務系統等等軟件系統，用“軟件系統多”多來形容一點也不為過。長期以來，由于受“任務驅動、應急開發”模式的影響，各財政業務系統的建設缺乏全局考慮，缺乏統一的平臺和標準，“信息孤島”現象嚴重。每個應用系統的數據大都分散存儲、分散備份，存在管理困難、擴展性差、效率低、安全性低等

4、諸多問題。另外，財政各項業務的開展離不開與全系統和其它部門的信息化溝通，為保證財政業務信息化辦公的高效暢通，現在財政縱向和橫向的網絡已經全部連通。我局縱向實現了與財政部、省財政廳以及無錫2市七區的全部網絡連通（即廣域網），橫向實現了與各級預算支出單位、非稅收入單位、人民銀行、國地稅和9家商業銀行的網絡連接（即城域網），內部實現了全局的網絡連通（即局域網）。用“網絡連接多”可形象比喻已建成的立體化多方位的網絡系統。1.1.2存在的主要問題隨著財政體制改革的不斷推進和科學、精細化管理的不斷深入，現有的財政業務信息化系統已難以滿足業務信息化所覆蓋的面越來越大、新的業務系統不斷上線要求。同時，業務系統

5、對it系統的依賴性越來越高，對財政而言，健全的業務數據既是財政的寶貴資源，又是維持其正常運轉所必須的基本條件。如何安全、高效地管理好業務數據，確保信息資源的安全和完整，使機構免遭信息災難，已經成為擺在我們面前迫切需要解決的問題了。為了確保財政業務的連續性和數據的安全性，預防災難的發生以及如何解決一旦災難發生即能快速恢復的手段、建立一套行之有效的數據存儲及災難恢復系統已成為當務之急。1.2技術原理及結構1.2.1 概述長期以來，為任務關鍵型的應用制定的災難恢復計劃，需要對這些應用進行復制，并且在容災點擁有備用的服務器，一旦災難發生，就可以立刻接手運行。在過去，第二級的應用僅限于從磁帶中得以恢復，

6、作為其保護模式，這種方法會導致多天的恢復時間。即使你已經復制了該應用的數據，通常也不太可能有一個完全一樣的服務器來恢復該應用備份。要么需要對不同的的硬件進行裸機恢復，要么就購買一個新的操作系統和應用安裝，在這個過程中還要有安裝數據庫所需的所有補丁備份。采用虛擬機，實際上是虛擬的機器它們都是運行同一套驅動程序，如果它們從一臺主機轉移到另一臺主機，你幾乎區分不出來。這個“硬件不同”的問題可得到有效的解決。在數據的恢復方面，與以往的依賴磁帶進行轉移不同的是，現在你定期對你的虛擬機安排快照，然后通過復制連接，將它們轉移到容災點。如果網管能夠正確考慮通信的優先級，它就不會對實時的復制造成干擾。所以，采用

7、服務器虛擬化很容易部署和集成，因而成為了容災的有效工具。服務器虛擬化能解決容災的三大問題：成 本： 虛擬化可以直接部署在生產和恢復中心，幫助公司減少物理服務器的數量。依賴性： 虛擬化消除了大部分硬件的依賴性。迅速恢復：虛擬化的服務器圖象能夠迅速得到部署，在某些情況下，圖象還能在物理系統間遷移。如果要在容災戰略中采用服務器虛擬化，存儲管理員必須考慮到他們的數據保護、恢復點粒度和存儲目標。數據保護（備份）服務器虛擬化和容災面臨的一大挑戰就是缺乏有效的、可使用的備份數據，也就沒有太多可恢復的東西了。虛擬化自身并不能保證數據的可恢復性。備份虛擬服務器有一些可用的方法，其結果各不相同。如果在每臺虛擬機中

8、設置常規的備份代理，你就能把獲得的結果與代理設在物理服務器環境中的結果作對比。恢復點粒度由于軟件成本降低帶來利益，常規備份代理會偏向于圖象備份，此時備份戰略必須不遭破壞，且能提供粒度（文檔水平）的恢復能力。依靠第三方軟件工具，能自動實現全備份和增量備份，而不必采用離線虛擬機。這種能力還能對文檔進行恢復。恢復性能備份和恢復虛擬服務器是i/o的功能。虛擬化之所以具有吸引力，是因為它能夠加強使用空閑的服務器資源。對許多處于工作期的系統而言，這么做非常正確，而當系統處于備份期或者更具體地說處于恢復期時，情況就不同了。在恢復災難的時候，可能需要同時恢復同一個物理系統中的多臺虛擬服務器，這時產生的i/o就

9、會成為嚴重的“瓶頸”問題。只是硬件可用，并不能保證滿足恢復時間目標。對宕機時間很短甚至沒有宕機時間的應用程序，僅僅是虛擬化并不足夠，還需要增加故障切換元件，滿足恢復需求。同理，有些應用程序的恢復點目標很嚴格，但是數據損失的容忍能力很弱乃至沒有，此時可能需要采用復制的方法，保證在備份期間保護數據。對于一項容災戰略而言，除非具有外部元件，否則世界上所有的虛擬化、圖象備份和數據復制也不為多。一般情況是，虛擬服務器已經部署或即將部署在一個中心，將備份發送到中心之外或者在各個中心之間復制數據。1.2.2 設計原則1、容災備份的解決方案，應采用 “應用級”、“數據級”的系統構架技術方案及異步的數據復制方案

10、；2、異地災備中心應靠慮數據初始化、應用系統及數據遷移方案遷移方法、保障措施等；3、主備機房發生災難時，系統平臺應有備份應用恢復的實施方案。 1.2.3 災備技術規劃系統容災備份技術是指通過建立遠程數據備份中心，將主中心數據實時或非實時地復制到備份中心。正常情況下，系統的各種應用運行在主中心的計算機系統上，數據同時存放在主中心和備份中心的存儲系統中。當主中心由于斷電、火災甚至地震等災難無法工作時，則立即采取一系列相關措施，將網絡、數據線路切換至備份中心，并且利用備份中心計算機系統重新啟動應用系統。這里最關鍵的問題就是切換過程時間最短，同時盡可能保持主中心和備份中心數據的連續性和完整性。而如何解

11、決主中心和備份中心數據庫的數據備份和恢復則是容災備份方案的重點。1.2.3.1 災難備份層次對于災難備份的結果，就是要保證數據和業務的可用性（availability），根據通用性和成本來考慮，業務的可用性目前有三個級別（見下圖“可用性金字塔” ）：其中，業務連續性是可用性的最高級別，也是最難實現的部分，業務連續性的實現要依賴高可用性和災難恢復的實現，而單點故障的消除是保證業務連續性最基本的手段。 從災備系統實施的層次來看，災備體系應該包括數據和應用兩個部分。數據災備是基礎，應用的災備是建立在數據災備基礎之上的。對于數據的保護，又應該從兩個級別來考量（見上圖“數據保護的級別” ）。第一個級別是

12、數據安全，這是保證數據可用的最基本的手段。數據安全包括我們通常談到的一級存儲和二級存儲，一級存儲就是我們通常所說的磁盤陣列存儲等，二級存儲是通常所說的用磁帶介質、光介質等完成的備份。第二級別是指數據724的高可用性，為實現數據的高可用性，我們可以采用雙機容錯或者服務器集群的方式來實現。在數據保護的兩個級別中，企業可以按照自己對關鍵業務連續性的要求來確定采用數據保護的方式，一般來說，對數據依賴不是很強，并且不一定要求數據724有效的中小型企業，可以通過本地備份就能實現對數據的保護，而對于金融、銀行、電信等運行著大量關鍵業務，需要業務和數據實時有效的行業，就需要考慮更高級別的數據保護方式。 應用災

13、備是在數據災備的基礎上，在異地建立一套完整的與本地生產系統相當的備份應用系統。在發生災難時，遠程系統迅速接管業務運行，應用災備則是災備系統建設的最高級目標。 1.2.3.2 災難備份系統架構一個完整的容災系統應該具有豐富的層次構造，包括以下幾個部分： 本地高可用系統通過本地的高可用系統實現一級安全體系，該體系確保局部故障和單點故障的系統應用安全。采用雙機容錯或者服務器集群的方式來實現。 遠程數據鏡像系統遠程鏡像系統是災備系統的重要組成部分，它可為兩地點間的重要信息傳輸提供豐富的存儲空間，保證主站點和備份站點之間數據的同步。遠程鏡像系統的實現有三種方式。 1、數據庫復制 采用數據庫監督遠程鏡像的

14、做法使得it環境中的鏡像變得有意義，一般通過數據庫管理器來完成，并且能對本地和遠程的支持作出更為熟悉和靈活的決定。這種同步化過程在發生重大運行失誤時開始運作。但是，在這種方式中，每一次數據更新時，需要傳遞大量信息，為確保這其中的相互聯系和復制的一致性而引起的開銷是十分可觀的。 2、遠程文件系統鏡像 對于具有多種應用程序的主機來說，采用文件系統遠程鏡像的做法是恰當的。這尤其適用于低配置的服務器。文件級別的復制能圓滿完成替代位置數據的更新。這些產品作為主機上的軟件分層驅動程序而傳送，并且一般要在本地或廣域連接中遵守網絡上的習慣協議，諸如tcp/ip等。但這些方法在實現時，可能需要更改操作系統或改變

15、需要保護的多主機平臺。 3、存儲子系統的遠程鏡像 當用戶擁有幾臺不同的主機并且其中還包括有核心主機時，或者當用戶僅僅只想從應用程序處理機上移走遠程鏡像時，將如何處理呢？這可以通過存儲子系統鏡像的方式。單一的存儲子系統可以用來從服務型主機的立場上提供遠程雙重拷貝。原主機和備份主機從冗長的i/o開銷中解脫出來，并可以削減等待時間。大多數執行過程都能利用原位置和備份位置的閑置資源以加速程序的運轉。由此產生的遠程鏡像吞吐量遠遠大于數據庫和文件系統的設計要求。遠程高可用系統遠程的高可用管理系統，即遠程應用切換，也就是應用災備，它實現二級的遠程廣域范圍管理（global cluster），這一層次基于本地

16、的高可用系統之上，實現故障的分類和采取對應的故障接管機制。 在遠程災備系統中，要實現完整的應用災備，既要包含本地系統的安全機制、遠程的數據復制機制，還應具有廣域網范圍的遠程故障切換能力和故障診斷能力。也就是說，一旦故障發生，系統要有強大的故障診斷和切換策略制訂機制，確保快速的反應和迅速的業務接管。實際上，廣域網范圍的高可用能力與本地系統的高可用能力應形成一個整體，實現多級的故障切換和恢復機制，確保系統在各個范圍的可靠和安全。數據磁帶備份系統數據備份系統一般采用磁帶庫來完成，用戶可以根據自己的存儲系統架構來選擇備份方式，如lanfree或者serverless等。數據備份系統是整個存儲系統非常重

17、要的后備支撐，一旦遭受到誤操作、黑客攻擊等災難時，如果用戶制定了有效的備份策略，備份系統可以很好地恢復災難前的數據內容。此外，數據備份介質還可以通過別的方式存放在專門的備份中心或者公司異地的存放中心，以確保當地發生自然災難時備份介質的有效。總之，容災的根本是恢復，而災難恢復計劃（drp），是指在災難前、災難中和災難后采取的一些手段和措施。災難恢復計劃應該是一個全面的、經過測試的、可以保證數據和應用恢復的計劃。災難恢復計劃對于公司的生存是很重要的，一個經過測試的災難恢復計劃能使得公司從一個無法預計的災難中在可能的時間內進行恢復，并且不影響公司的正常業務運作。1.2.3.3 容災技術分析容災建設是

18、一項系統工程，包括智能資源建設，容災戰略構想、容災組織建設、容災操作流程；業務邏輯容災，數據復制和應用恢復以及應急應用邏輯調整；容災信息技術基礎設施建設，技術實現和基礎設施。其中最受關注的是技術實現，技術實現雖然是一個子層面的內容，而實際上貫穿了容災建設的始終，各種方案差異也幾乎全在于所選擇的技術實現不同。技術對于容災系統的影響主要在實時數據遠程復制、網絡連接、應用接管和回切、運行監控和日常管理四個方面。實時數據復制技術的選擇實時復制技術要完成生產數據到容災中心的復制工作。從存儲、san、操作系統，到平臺軟件，業務，各個層次都有自己的復制技術。 基于存儲的復制技術目前主流的存儲設備廠商在其存儲

19、產品上均有基于存儲設備的災備解決方案，如emc的srdf，ibm的pprc。這種解決方案是一種數據存儲的物理鏡像，它將數據在物理層面上，在兩套存儲設備中通過san制作或生成兩套數據鏡像。這兩套存儲設備可以是本地的，也可以是遠程的。當本地的生產系統發生故障時，備份系統主機可以連接上備份存儲系統，開啟業務。 基于san的復制技術san的復制技術是通過虛擬存儲技術在san層次截獲數據寫操作，并進行遠程復制，所有存放在虛擬存儲管理的lun（磁盤卷）上的數據都能夠自動被復制，而且與業務、應用甚至服務器無關，大大簡化了容災設計和實施。但是與存儲數據復制類似，san層的數據復制帶寬要求更高，而且對于累積增量

20、的保護較差，可能因為數據溢出，因此需要更多的帶寬去復制數據。 基于操作系統的復制技術有些操作系統如aix他本身就具有數據跨存儲設備的鏡像功能。與本機硬盤單鏡像設置的不同，這種災備方式可以由操作系統通過san發起在兩個存儲設備間保存兩份相同的數據。當本地的生產系統發生故障時，備份系統主機可以連接上備份存儲系統，開啟業務。ibm的georm，veritas的storage replicator、volume replicator。 基于平臺軟件的復制技術平臺軟件層面的復制技術是被廣泛采用的技術之一，對不同的平臺軟件，技術各有不同。我們的平臺軟件有oracle數據庫、sybase數據庫，其中關鍵支撐

21、業務都是oracle數據庫。以oracle為例，oracle復制技術，主要是data guard技術。 基于業務的復制技術基于業務的數據復制技術適合三層架構的應用，在容災中心除了存儲，主機系統外，還需要和生產中心一樣的中間件服務器。數據過程如下： 1、前臺客戶端發起一個交易； 2、交易中間件提交交易到遠程交易中間件； 3、遠程交易系統處理完請求，并完成寫數據庫，返回結果 4、本地交易系統處理后，寫數據庫并返回前臺客戶端處理結果。 由此可見，基于業務的數據復制技術是以提供相同的輸入，相同的處理，來保證相同的輸出，從而達到數據復制的目的。因此，基于業務的數據復制技術，雖然交易一致性好，但是需要和業

22、務程序開發結合，實現復雜。對于我們已經成型的業務并不適合。根據以上分析，我們選擇了基于san和操作系統復制技術。以上幾種方式的比較：基于存儲技術基于數據庫技術應用軟件同步操作系統軟件投資規模硬件(固定)+軟件(低)+實施(中)硬件(靈活)+軟件(低)+實施(中)硬件(靈活)+軟件(高)+實施(高)硬件(靈活)+軟件(中)+實施(中)投資保護是否否是主機依賴性否是是是實施工作量中小大中實施難度中低高中適應范圍和約束條件專用存儲連接鏈路；高端存儲設備近距離，簡單應用應用系統成熟；網絡設施完備；長期的開發和維護力量高網絡帶寬；特定的文件系統格式技術成熟度成熟不很成熟不同的項目有不同結果中對系統性能的

23、影響小大大中運行維護的要求低中高中災難情況下的數據丟失量同步：沒有丟失；異步：1分鐘以內通常異步，幾十兆數據丟失通常異步，數據丟失1分鐘以內同步：沒有丟失；異步：1分鐘以內同異步方式選擇同步和異步有以下區別：同步可以保證主備中心數據完全一致，而異步則會在災難時有少量數據丟失。同步對主機i/o性能有一定影響，視傳輸距離、方式而定。異步對主機性能的影響很小。只推薦同步具有很大的風險同步數據復制，要求每個io都必須到遠程繞一圈后才算結束，在多個方面存在性能瓶頸：1、在非容災狀態，或異步情況下，主機只要寫一個磁盤陣列的cache就算i/o結束了，該過程大約2ms。而同步方式要求串聯寫兩個磁盤陣列的ca

24、che，才算i/o結束。2、主、備中心之間，通常只有12根光纖。同步方式下，這就相當于在高速的主機和存儲間，放了一個非常窄的通道。這立即成為整個系統的瓶頸，我們配置高速磁盤陣列、支持大量主機接口、非常高的iops值，等等，一切都不能充份發揮其能力。3、主、備中心之間有距離，這又造成了系統延時，對性能的影響是明顯的。4、在高io負載的情況下，根據大量測試和實際情況，同步復制會出現性能“拐點”，即“性能雪崩”，此時性能會急劇下降80以上。由于以上的原因，同步必然對系統性能產生明顯影響，具體影響的程度，與應用狀況、通信帶寬、距離、系統架構等多方面因素相關，很難給出一個精確的計算結果。容災的實施是為了

25、避免風險，而如果只有同步復制方式，則會帶來更大的風險。一旦系統上線后，發現出現性能雪崩、或批處理時間大量延長、系統超高負荷，而此時升級到異步又非常困難，則整個容災項目就會失敗。根據目前用戶核心系統的實際情況和系統重要性級別（1、非稅收入 2、集中支付 3、契稅征管 4、建設資金管理），采用同步異步復制方式。1.2.4 容災備份軟件設計 根據無錫市財政局容災備份的需要，我公司建議選擇symantec基于操作系統的容災備份軟件，作為無錫市財政局容災備份平臺。unix服務器鏡像/集群軟件系統設計無錫市財政局現有兩臺ibm s85小型機，兩臺小型臺共享一臺7133磁盤陣列，使用ibm hacmp軟件。

26、考慮新增一臺ibm小型機、兩臺光纖存儲設備，通過veritas foundation構建unix服務器鏡像、集群軟件。 產品介紹我們通常把備份/恢復的技術領域稱為離線數據保護。離線的數據保護方式因為其停機時間和數據損失的缺陷，對于現在7x24運行的核心業務系統越來越顯得不足。veritas storage foundation, 的主要功能有:減少停機時間：物理錯誤的冗余：數據容災基于san環境的跨陣列遠程鏡像：邏輯錯誤的快速恢復：多種快照技術沒有數量限制的快照技術，可以讓用戶在最短的時間里，恢復出錯的文件系統。在線的（不停機）存儲管理：擴展，調整卷結構，提高系統讀寫速度：文件系統自動調節，最

27、優化利用緩存。達到最優讀寫性能。構建動態多路徑管理，提高san傳輸效率。提高讀寫性能。多種卷結構，優化讀寫效率。最大化利用資源，自動化管理資源。在線管理異構的磁盤陣列。統一管理使用。基于策略的管理模式，變被動為主動的管理模式。優化數據庫性能。symantec建議利用veritas storage foundation系列軟件的鏡像技術，來構建容災方案。利用veritas storage foundation的鏡像技術構建容災系統是非常簡單的，它只有一個條件，就是將生產中心和災備中心之間的san存儲區域網絡通過光纖連接起來，建立城域san存儲網絡。然后，我們就可以通過storage founda

28、tion提供的非常成熟的跨陣列磁盤鏡像技術來實現同城容災了，容災方案的結構如下圖所示：從原理上講，在城域san存儲網絡上的兩套磁盤系統之間的鏡像，和在一個機房內的san上的兩個磁盤系統之間的鏡像并沒有任何區別。就如上圖，如果我們把“同城容災中心”幾個字去掉，我們就無法分辨左邊的系統和右邊的系統到底是在同一個機房，還是遠在幾十公里以外。利用光纖將生產中心和災備中心的san網絡連接起來，構成城域san網絡以后，利用 veritas storage foundation的先進的邏輯卷管理功能，我們就可以非常方便的實現生產中心磁盤系統和災備中心磁盤系統之間的鏡像了。如下圖所示。我們可以看到，利用ver

29、itas storage foundation，我們可以創建任意一個邏輯卷（volume）供業務主機使用，實際上是由兩個完全對等的，容量相同的磁盤片構成的，兩個磁盤片上的數據完全一樣，業務主機對該volume的任意修改，都將同時被寫到位于生產中心和災備中心的兩個磁盤系統上。采用這種方式，生產中心的磁盤陣列與同城容災中心的磁盤陣列對于兩地的主機而言是完全同等的。利用城域san存儲網絡和veritas storage foundation鏡像功能，我們可以非常輕松的實現數據系統的異地容災。并且消除了復制技術（無論是同步還是異步）的切換的動作，從而保證零停機時間，零數據損失的實現。集群系統是目前應用

30、高可用的主要手段。由多臺主機，連接共享的存儲磁盤陣列，實現應用在多臺主機上的并行運作（需要應用支持，如oracle rac）或者active/standby 模式運作，當單個主機上的應用，或者主機本身發生錯誤時，由其他服務器接替工作，最終實現應用的高可用。針對用戶的需求，以及用戶具有的硬件架構，veritas cluster為了提供一個高可靠集成的系統，veritas群集軟件在系統和網絡的幾個方面提供了一個完全集成的方案，包括管理、監控、檢測、恢復重要的應用。veritas cluster server (vcs) 是一個商用的企業級軟件解決方案，它可提供全面的可用性管理，把計劃的和非計劃的停

31、機時間降到最低。該產品能滿足發展的但嚴格的世界電子商務模式所要求的正常工作時間。電子商務需要增加不停機時間以保證為顧客進行各種服務；不管哪種企業，多大規模，veritas cluster server (vcs)都能為他們的“無間斷商務”發揮重要作用。vcs使得企業的san得以完善，它提供客戶端對存儲數據的訪問，既可以是通過光纖直接連到磁盤陣列，也可以通過光纖交換到“存儲池”。本地集群定義 一個vcs集群由連接到共享存儲設備的不同應用組合的多重系統構成。veritas cluster server 監控和控制應用和數據庫，并且能夠在軟硬件發生多種故障時對應用和數據庫進行故障切換或重啟。常常定義

32、一個集群為一套連接到冗余網絡聯接的系統。這種方案能夠在應用、操作系統或硬件在某個站點發生故障時，恢復本地的unix或windows服務器，也可以盡可能的降低應用系統計劃內和計劃外的停機時間。 本地集群，也稱為共享存儲集群，是目前最流行的通過應用和數據庫故障切換提供高可用性的方案。 環境 用于應用和數據可用性的冗余服務器、網絡和存儲架構使用多重服務器與共享存儲系統的連接。 系統被連入一個專用的網絡互聯結構中，通常使用以太網傳遞系統狀態和軟硬件資源的信息vcs使用快速專用協議gab/llt進行狀態通信。 集群中的每個系統都能夠在需要時訪問共享存儲系統上的應用數據 區別于擴展集群，它不把數據復制或鏡

33、像到其他數據中心（往往在單一陣列中，利用鏡像/raid來提供磁盤保護） san結構可以簡化大型的集群（大于兩個節點），這在當前的所有集群中具有代表性。例如，使用交換機和集線器 所有集群組件服務器、san結構、存儲系統全部共存于某個站點上。 集群中的所有服務器在一個單獨的位置（單數據中心）優點 使用共享存儲系統上的數據實現應用恢復（零數據損失） 將應用和數據庫的停機時間降至最低（自動故障切換） 優化服務器整合（n+1故障切換情形） 快速恢復時間目標，滿足嚴格的服務水平協議和高可用性 缺點 在災難中，數據中心或站點成為單一的故障點擴展集群（城域災難恢復 / 區域集群）注意：一份單獨的白皮書詳細說明

34、了區域集群（campus clustering）配置，可以通過veritas 網站查找定義 擴展/區域集群（stretch / campus clustering）是一種擴展到兩個以上站點的集群，它使用光纖連接進行數據鏡像和集群通訊。當企業在辦公地點采用了san結構，且要在短距離進行災難恢復時，通常采用這種典型結構。veritas在華爾街的許多客戶已經搭建了區域集群，他們利用veritas volume manager 鏡像將數據中心隔開幾英里遠，通過這種方式為本地站點故障（例如火災、洪水或當地停電等）提供了災難恢復能力。另外，區域集群為擴展數據中心面臨的有限增長空間提供了持續的可用性。 環境

35、 一個集群通過子網或san光纖通道，擴展到多個建筑、數據中心或站點 在建筑物、數據中心或站點最多可自由分配32個節點 本地存儲系統在集群節點間相互鏡像 使用dwdm的新數據交換機，能夠支持長達100km的距離 站點間的距離取決于存儲網絡基礎架構 優點 區域集群對每個站點都提供了本地高可用性，防護站點故障。 成本效率，單一方案無需復制（采用遠程鏡像同步地將數據拷貝到全部站點，零數據損失） 將應用和數據庫的停機時間降至最低（自動或手動故障切換） 充分利用現有的san基礎架構 外觀和操作與配置本地集群環境很相似無需進行特殊的配置 防護單一故障地點發生的與氣候相關的停電和電力網故障 允許數據中心擴展創

36、建一個跨越站點的服務器、存儲系統和應用的單一邏輯群 允許跨多重網絡進行故障切換（提供dns升級）（可以通過咨詢服務按需定制vcs 3.5中的代理選件，這些代理選件包含在vcs 4.0基礎產品中）缺點 成本需要san架構光纖通道 距離受存儲系統限制擁有足夠性能的鏡像存儲能力廣域災難恢復cluster acluster b廣域災難恢復在災難發生時為數據和應用提供了最多的保護。這種結構需要利用兩個或多個子網，部署兩個或更多的數據中心。站點停電時，所有服務和數據將被遷移到二級“熱”站點上，對用戶而言仍然是可用的。這種結構牽涉到決定二級站點的準確性。例如，二級站點的位置不應該與發生故障的主站點處在同一條

37、故障通路上，不能接近機場或處于相同的電力網內，并且要保持足夠遠的距離以避免氣候同時影響兩個站點。包括veritas在內的幾家公司為企業實施災難恢復最優方案提供咨詢服務。 根據政府規定或公司被強制遵守的服務水平協議，部署廣域災難恢復是一種比較有代表性的情況。同時，有一些在世界的其他地點有辦公機構的公司也可以利用這種結構。根據定義，典型的配置廣域災難恢復要求是ip網絡可用，以及客戶對距離的需求超過100km。二級站點是“熱”站點，在主站點發生故障時二級站點的服務器和存儲系統是可用的。站點之間通過ip網絡相互連接。環境 在主站點配置本地集群，在二級站點配置另一個本地集群至少兩個集群 o 兩個或多個子

38、網 o 兩個或多個集群 在每個站點的集群間復制數據，veritas每個集群最多支持32個節點，每個站點最多支持64個集群優點 本地集群的全部優點 異步模式下的數據復制是沒有距離限制的 在本地建筑、數據中心或地理區域內防范災難 使用ip網絡，支持任何距離上集群集群的通訊 本地自動進行應用的故障切換，也可通過手動“單鍵點擊”恢復到遠程站點 對veritas或第三方復制方案提供支持缺點 解決方案更加復雜（必須在任何故障情形下通盤考慮復制方向和數據流通）vcs 的特點：最多支持32節點。從gui管理界面監視多達256個32節點集群服務器。一個集群中支持無限數量的服務組。支持多種服務組之間的依賴關系，可

39、動態配置。vcs 使用專用通訊協議(gab)進行集群內節點間通訊。gab運行在另外一個專用通訊協議(llt)之上，采用第二層的dlpi協議的llt提供可靠的、負載均衡的、高速的心跳通訊，與使用tcp/ip堆棧方式進行心跳通訊相比，具有極大的優勢。專用通訊協議使得vcs擴展也非常方便。vcs也支持磁盤心跳 i/o fencing 使用scsi 3 persistent group reservations (在vcs 4.0版本)，防止split-brain的發生。為不同用戶提供不同的集群管理權限，例如數據庫管理員只能通過vcs進行數據庫的切換/啟動/關閉等。支持多種多樣的磁盤系統，所有支持的系

40、統都通過veritas ilab（集成實驗室）的認證。通過storage foundation cluster file system 與vcs結合提供該支持最多支持16個節點對同一文件系統同時進行讀寫訪問。veritas是目前唯一提供 oracle 9i rac 運行在cluster filesystem上的公司。vcs支持多種操作系統，多種數據復制方法的切換。（veritas/vvr emc/ hds/ ）支持服務器內和服務器間的多網卡多ip地址切換。無單點故障：had 和 shadow 互為vcs冗余進程。換提供plug-and-play 支持，只需在圖形管理界面填入應用有關參數即可。提

41、供軟件開發包(software developers kit ,sdk)。對于普通應用，可以方便地使用vcs自帶的 application代理進行管理對于特殊應用，可以使用c+, perl, or shell編寫vcs客戶化代理。可以中止整個集群服務，但是保持所有應用繼續提供服務。因此，在進行集群維護和升級等操作時，不會對應用造成任何影響。vcs自動同步所有節點上的配置文件。vcs 使用播種(seeding)機制。當整個集群中所有節點關閉后，管理員可以選擇啟動集群中任意數目的節點, vcs 沒有限制集群中最小節點數目。這意味著vcs在只剩下極少數節點，甚至可以在只有一個節點情況下啟動服務。支持

42、在不同操作系統平臺上的統一的命令行、圖形管理界面和web界面。使用安裝程序，在集群中任何一臺服務器上就可以將整個集群中所有服務器安裝，并且在安裝過程中回答幾個簡單問題就可以統一進行集群配置。windows pc服務器數據復制軟件、windows pc服務器集群軟件對于無錫市財政局的重要windows服務器，我們通過vrts replication exec 3.1 windows pc服務器數據復制軟件，實現windows pc服務器的復制，另外結合vrts storage foundation ha 5.0實現業務系統的自動切換。windows pc服務器系統備份/恢復軟件 系統設計無錫市財

43、政局眾多業務系統，包括契稅、內控、辦公自動化、票據、部門預算、財稅庫等，均是運行windows操作系統，考慮到windows操作系統的不穩定性，以及無錫市財政局windws業務的重要性，一旦系統出現故障，需要在短時間內恢復，我公司建議配置symc backup exec system recovery，可以幾分鐘（而非幾小時）內完成windows系統恢復。 產品介紹symantec livestate recovery 解決方案（以前稱為 symantec v2i protector）。幫助企業在幾分鐘內全面恢復windows系統的裸機或單個文件或單個文件夾，并為 windows 系統和數據提

44、供全面的保護。快速、頻繁地捕獲整個服務器或臺式機的操作狀態或實時狀態的時間點快照，無需中斷用戶的工作或應用程序的使用。 這些時間點快照將所有的文件和卷（無論是否在使用、隱藏或加密）、應用程序和設置包括到一個易于管理的文件中。因此，能在短短數分鐘內，重建整個系統或執行裸機還原（bare metal recovery），輕松將被摧毀的系統還原至指定時間。管理員不再需要使用傳統的恢復方法，花費數個小時的時間來重新構建系統和恢復數據，即可將崩潰的系統回調至精確時間點。livestate recovery的工作流程：卷恢復點代理被安裝到關鍵服務器，臺式機和筆記本上對整個系統進行快照并存到一個輕便的文件中

45、，創建一個唯一的時間點“恢復點”卷恢復點能保存在任何基于磁盤的存儲設備中，如閃存/cd/dvd出現災難時，恢復環境可以用來恢復到一個確切的時間點選擇需要的恢復點，然后系統會恢復到它原始的工作狀態 操作系統,應用程序,配置信息等livestate recovery 的特點：時間點裸機恢復 - symantec livestate recovery 獨有的恢復功能中包括 symantec recovery disk，該功能自動檢測硬件，并加載合適的驅動程序以啟動計算機。因此無需人工構建恢復軟盤。還可以使用 symantec recovery disk 來檢查磁盤的完整性或執行病毒掃描。事件驅動備份

46、 出現足以威脅系統穩定性的事件時，自動備份系統。這些事件包括：(1) 應用程序安裝（使用 setup.exe、install.exe 或 msiexec）；(2) 用戶登錄/注銷；和 (3) 數兆字節的存儲發生更改。性能調節 通過調節調度作業或自由作業的性能，提高臺式機和服務器的性能。此功能還能減少網絡通信量。從動態磁盤轉換為基本磁盤 對 veritas volume manager (vvm) 磁盤進行動態狀態備份，并可恢復至動態狀態，從而對使用 vvm 創建的多種復雜存儲配置提供無中斷且靈活的完整保護。交互式遠程恢復 使用產品 cd 中包含的 symantec recovery disk，

47、遠程恢復服務器和臺式機（通過內嵌的 symantec pcanywhere 托管技術）。*microsoft vss 集成 自動將 microsoft volume shadow copy service (vss) 兼容的數據庫設置為備份所需的靜默狀態，而不使其實際脫機，從而使數據庫更加自動化，更易于備份。合并備份集 通過定期將增量備份全部合并到一個增量備份文件中，減少存儲備份所需的磁盤空間。熱映像 使用快照技術，在工作時捕獲備份（即實時備份），而不中斷用戶的工作或應用程序的使用。livestate recovery 支持的備份/恢復方式：增量備份 僅捕獲上次備份后發生的更改，從而增加備份的

48、頻率，降低磁盤存儲空間要求。這樣一來，還可以節約時間和存儲資源。自動備份 it 管理員可以通過調度功能和事件驅動備份，根據需要（按小時、天、周、月或特定的時間點）安排備份，將更多的注意力放在優先級更高的任務上。安裝和網絡共享 安裝備份文件，作為可訪問的只讀驅動器。然后，這些驅動器便可供訪問、查看、復制、與其他驅動器共享以及掃描病毒，從而提供時間點鏡像功能。restore anyware 選件(消除硬件平臺影響) 允許將同一個備份恢復到不同的主機上。轉換成虛擬系統并轉換回來 (p2v & v2p) 允許將備份恢復到vmware 的虛擬主機上，或者從vmware 的虛擬主機上恢復到實際的服務器上。

49、lightsout restore 選件(遠程站點無人值守恢復) 遠程實現服務器的災難恢復。無須任何人工干預。在整個備份過程中，besr將掃描并清除預操作系統環境中的有害病毒，掃描并更正妨礙正常操作系統引導或操作的常見磁盤錯誤，在發生硬盤驅動器損壞時或在恢復之前將數據從系統硬盤驅動器轉移到備用存儲位置。真正引導任何裸機，并且輕松地在數分鐘（以前是數小時）內恢復整個系統。1.2.5系統網絡拓撲結構無錫市財政局局域網由原先的新大樓的兩臺cisco 4507r以及老大樓的一臺cisco 4006交換機組成的三機集群來為內部局域網提供涉及的近30個虛網的網關。三機的優先級順序為：cisco 4507r

50、-1優先級最高，cisco 4507r-2優先級其次，cisco 4006優先級最低。一旦cisco 4507r-1發生故障，則兩幢樓的網關將會自動切換到cisco 4507r-2和cisco 4006上，從而兩幢樓樓內部局域網仍然可以正常使用，僅是兩幢樓之間的網絡不能互相訪問。因此從一定意義上講，已經實現了內部局域網的容災備份。建議考慮將cisco 4006與cisco 4507r-2也由光路連接起來形成一個環，即使cisco 4507r-1發生故障或著cisco 4507r-1連接cisco 4006的光纖斷了，兩幢樓仍然可以正常互相訪問，這樣可以切實做到內部局域網絡的容災。 廣域網部分，

51、首先從安全角度考慮，我們在核心交換機下聯路由器前均連接了一臺防火墻，新大樓使用了crossbeam防火墻，老大樓新增了一臺天融信防火墻。防火墻上開放了相應的業務端口。然后防火墻又下聯了核心路由器。老樓、新樓均設置了一臺核心路由器，都是此次新增的cisco 7606。新樓的cisco 7606為主路由器，下聯各家銀行（即工商、江蘇、中信、建設、浦發、農業、交通、中國、招商銀行）的主線路以及產權監理處的主線路，老大樓的cisco 7606則為備路由器，下聯各家銀行（即江蘇、中信、建設、農業、交通、中國、招商銀行）的備線路以及產權監理處的備線路。其中浦發銀行此次沒有參與網絡容災，因此沒有備線路。而工

52、商銀行備線路由于使用v.35接口，且備路由器上暫時沒有配置v.35模塊，因此暫時由老樓的cisco 3825路由器下聯。另外主線路均由電信提供，備線路則均由廣電提供。這樣一來，一旦主線路上出現故障（例如電信停電、線路中斷），則無錫市財政局對應的局端線路將自動切換到備線路上，而由于各家銀行及產權監理處現有網絡結構及設備的限制，在無錫市財政局局端線路切換的同時，部分下聯單位需要手動進行切換操作（部分單位能夠自動切換）才能保證業務系統正常運行。行政審批中心的網絡則由對端的一臺兩層3com交換機同時直接接入主備兩條線路，分別連接到新樓的cisco 4507r-1和老樓的cisco 4006核心交換機上

53、，通過spanning-tree的優先級機制進行判斷，默認通過cisco 4507r-1上的主線路接入無錫市財政局局域網，一旦主線路發生故障，則自動切換至使用備線路接入局域網，實現了行政審批中心接入財政局局域網網絡的容災。請見無錫市財政局廣域網容災拓撲圖無錫市財政局廣域網容災拓撲圖1.3 關鍵技術及創新點1.3.1 問題的提出由于無錫財政局信息系統新舊設備結合，系統復雜，同時運行的業務系統繁多，無錫市財政局和江蘇藍深遠望系統集成公司在災備系統建設中，對災備技術進行了深入的分析和研究，統籌考慮了技術兼容性和復雜性，創新地運用虛擬中間件服務器技術，并成功地應用在財政局的災備建設項目中，以最經濟的方

54、式完成了財政局災備系統建設，實現了財政業務系統不間斷運行的目的。財政局業務系統的安全是由數據庫系統、中間件、網絡系統等三個部份組成，任何一個部份的缺陷，都影響到財政業務系統工作的連續性。財政局業務系統中間件軟件可以實現數據存儲邏輯和前臺業務邏輯的分離，還能承擔交易數據傳輸、中間交易確認、客戶端負載均衡、用戶身份認證等多種中間業務邏輯的實現。中間件軟件產品的發展，也帶來了中間件軟件自身部署的復雜性以及兼容性問題：（1）中間件產品的切換依賴于數據庫服務器、第三方應用、網絡等多方面的正常運行，如果數據庫發生中斷或者切換，中間件服務器也要進行切換。（2）中間件服務器實現的身份認證或交易確認功能，是通過

55、硬件加密手段來保證交易的安全性，但實際系統中無法找到完全一樣的兩臺硬件設備，可能導致無法正常切換。（3）財政業務系統非常復雜，如果每個業務單獨部署中間件服務器，既帶來中間件產品相互之間在操作系統層面存在兼容性問題，又對系統資源造成浪費。隨著業務系統的發展，應用災備環境復雜，而中間件技術在軟件開發環節中的地位越來越重要，它不但可以實現數據存儲邏輯和前臺業務邏輯的分離，還承擔交易數據傳輸、中間交易確認、客戶端負載均衡、用戶身份認證等多種多樣的中間業務邏輯的實現。三層甚至多層架構軟件已經成為大型業務系統開發的必然選擇。業務系統的安全是由數據庫系統、中間件、網絡系統等三個部門安全共同組成，缺少了對任何

56、一個部分的關注，都不能保證業務系統的業務連續性要求。中間件技術由于其承擔業務邏輯實現的多樣性，傳統雙機甚至多級集群技術的已經不能滿足中間件服務器的災備需求。1.3.2 面臨的主要技術難題中間件的產品發展，也帶來了中間件自身部署的復雜性以及兼容性等問題，雖然多數中間件產品沒有數據存儲的要求，但是它的部署是相當復雜的，一旦出現故障，很難迅速恢復正常業務。中間件產品的系統其切換除了受自身運行狀況影響之外，還要依賴于數據庫服務器、第三方應用、網絡等多方面的正常運行，也就是說如果數據庫發生中斷或者切換，中間件服務器也要進行應用切換，例如預算執行系統采用的是weblogic的中間件，數據庫鏈接是java的連接池，而連接池的建立是在中間件服務器啟動時建立的，一旦數據庫重啟，這些連接池就失效了，必須重新啟動weblogic服務器才能保證正常應用。中間件服務器實現的身份認證或交易確認功能，都是通過硬件加密手段來保證交易的安全性的，這就帶來了一個問題：無法找到完全一樣兩臺硬件設備。業務系統越來越多，而且都是采用中間技術實現的，由于各種中間件產品相互之間在操作系統層面存在兼容性等問題，都希望部署在相互獨立的機器上，但是