1、虛擬存儲整合技術在新疆油田公司的應用新疆油田公司數據中心 金云華 朱玉鳳 王曉軍新疆油田公司近年來逐步建立了由決策層、管理層、執行層和支撐層構成的信息化管理體系，成功地研發了油田數據管理平臺、油田空間數字平臺、業務流程管理平臺等數字油田信息平臺。同時，收集整理了自1941年以來的油田生產數據，目前擁有數據78TB，各類應用系統120套及強大的數據庫服務器和應用服務器。為了實現油田數據的共享，充分發揮數據在油田各行業中的作用，各二級單位數據和應用需要逐漸實現集中管理，并對現有資源進行整合。目前，油田公司司數據中心存存儲設備主要要有4套：用用于油田公司司中心數據庫庫數據存儲的的容量為6TTB的HD

2、SS 95855；用于為地地球科學和鉆鉆井系統及上上游生產信息息系統(A11A2系統)數據存儲的的容量為244TB的EMMC CX7700、一套套IBM 33584自動動帶庫以及一一套IBM 3494自自動帶庫。為為了充分利用用這4套設備備資源，便于于應用和管理理，需要對這這4套存儲設設備進行整合合，做到統一一規劃、數據據共享。生產經營數據存存儲設備使用用現狀及需求求分析2004年，油油田公司數據據中心先后購購置了一臺容容量為6TBB的HDS 9585數數據存儲和三三臺Sun E49000數據庫服務務器，實現了了中心數據庫庫集群，使勘勘探、開發、經經營、管理數數據實現集中中管理。由于HDS 9

3、9585和EEMC CXX700存儲儲設備相互獨獨立，且各系系統發展不均均衡，導致某某些系統建設設之初規劃了了很大的容量量和很高的性性能，但實際際運行過程中中卻沒有那么么大的需求，而而另一些應用用建設之初卻卻陷入了容量量和性能不足足的困境，而而其他系統富富裕的資源卻卻不能拿來使使用，導致HHDS 95585存儲必必須升級擴容容，而EMCC CX7000存儲資源源卻被閑置的的局面，各存存儲資源不能能做到統一規規劃，協調利利用。此外，由由于HDS 9585和和EMC CCX700存存儲設備廠商商不同而形成成了數據孤島島，資源不能能互通和有效效利用，同時時為系統的維維護管理、性性能優化、故故障排查、

4、數數據遷移、容容災備份等都都帶來極大的的不便和困難難。因此，油田公司司需要建設一一套集中統一一的高性能、高高可靠性的存存儲平臺。新新平臺必須能能夠對原有的的異構存儲環環境進行整合合，能將原有有的存儲設備備作為新存儲儲平臺的外部部存儲設備，使使新的存儲設設備和原有的的存儲設備形形成一個統一一完整的存儲儲池，由新的的存儲設備進進行統一管理理，最大限度度地發揮原有有存儲資源的的再利用能力力。同時，新新的平臺能夠夠提高原有存存儲環境的整整體運行性能能，整個存儲儲環境對各業業務透明，存存儲平臺可以以根據各業務務的特性和需需要，靈活分分配存儲容量量、處理能力力等各種資源源，確保關鍵鍵業務的穩定定可靠運行。

5、借借助新的存儲儲平臺，存儲儲設備能方便便擴容，各存存儲設備能夠夠方便地進行行無縫的數據據遷移，并且且實現集中的的存儲備份，并并滿足未來容容災的需要。存儲整合技術思思路在存儲整合過程程中，需要著著重考慮以下下幾方面原則則：平臺整合 整合合不但要滿足足數據中心目目前和未來集集中存儲的需需要，還要對對已有系統的的存儲環境進進行最大限度度地整合，實實現服務器的的集中訪問、數數據資源的集集中存儲和處處理。高性能 新的存存儲平臺整合合了所有的應應用后，必須須具備強大的的處理能力，能能消除原有存存儲設備的性性能瓶頸?？蓴U充性 應確確保在原有的的系統平臺上上擴展和實現現新功能、新新業務的增加加。高可靠性 存儲

6、儲平臺具有高高可靠性，支支持服務器平平臺的高可用用性集群技術術；具備先進進的容災設計計；充分保證證系統的高擴擴展能力和高高容錯能力，具具有通道負載載自動均衡能能力和存儲系系統性能調節節能力。高可用性 在存存儲和其他應應用系統盡量量不停機的情情況下，實現現擴容、維護護、升級等服服務，提高性性能以滿足新新的業務需求求，具備724連續工工作的能力，系系統的可用性性應能達到1100%，可可以實現磁盤盤數據的在線線不停機備份份。可管理性 要求求配置實時性性能監測管理理軟件，可對對CPU使用用率、內存使使用率、交換換區使用情況況、I/O操操作、隊列狀狀態、磁盤空空間、卷磁盤盤錯誤、系統統事件、系統統中各進

7、程對對系統資源占占用等性能和和操作數據等等服務器性能能進行實時監監控、管理和和調配。技術先進性 系系統設計采用用當前先進而而成熟的技術術，不僅可以以滿足現實工工作的需求，也也應把握未來來存儲整合的的發展方向。虛擬化存儲設計計方案根據以上分析，公公司決定采用用日立數據系系統(HDSS)有限公司司企業級存儲儲產品TaggmaStoore NSSC55網絡絡存儲控制器器或Univversall Storrage PPlatfoorm V(USP VV)作為數據據中心存儲整整合的核心設設備，配合HHDS的存儲儲管理軟件、數數據快照鏡像像軟件，形成成一套完整、高高效的存儲整整合解決方案案。本項目采采用S

8、AN架架構進行整個個存儲系統的的建設，存儲儲網絡將分為為服務器層、網網絡交換層和和集中存儲平平臺三個層次次。服務器層 需要要對公司數據據中心各業務務系統的服務務器進行改造造，增加光纖纖通道主機卡卡HBA，使使這些主機具具有訪問存儲儲網絡的能力力。網絡交換層 采采用Broccade企業業級大吞吐量量的SAN交交換機，保證證服務器和外外部存儲設備備到網絡存儲儲控制器的高高速連接。集中存儲平臺 這是本次存存儲整合系統統建設最核心心的部分。我我們采用HDDS TaggmaStoore USSP V網絡絡存儲控制器器，為其配置置1塊前后端端混合處理板板，提供166個4GB的的前端主機接接口和8個后后端磁

9、盤接口口，為其配置置5GB控制制緩存和166GB數據緩緩存，在其內內部配置200塊300GGB FC磁磁盤共計6TTB裸容量，作作為整個集中中存儲環境的的基礎。對于數據中心正正在使用的HHDS 95585和EMMC CX7700等設備備，可以通過過SAN交換換機直接連接接到USP V的后端，作作為它的外部部存儲設備，通通過HDS UVM通用用卷管理軟件件，可以把外外部存儲設備備的邏輯卷直直接映射到UUSP V上上去，由USSP V統一一管理和使用用，而對前端端服務器來說說所有的工作作都是透明的的。通過USSP V的存存儲整合，整整個存儲平臺臺提供給服務務器訪問的是是由USP V統一管理理的存儲

10、空間間，存儲容量量包括6TBB的USP V內部容量量和30TBB外部容量（分分布在HDSS 95855的6TB、EEMC CXX700的224TB），最最大限度地保保護了油田公公司的投資，同同時未來可以以很輕松地根根據各業務的的繁忙程度、數數據量增長情情況、性能需需求等靈活地地進行存儲資資源的再分配配，真正實現現數據分級存存儲和應用優優化存儲。由于采用USPP V進行了了存儲環境的的整合，就可可以很方便地地通過USPP V對原來來異構的存儲儲設備進行集集中的數據備備份和容災。本本次我們在備備份中心選擇擇IBM 33494(440TB)作作為近線備份份設備，可選選用HDS AMS 2200存儲產

11、產品作為遠程程實時數據備備份的存儲設設備，將AMMS 2000通過油田公公司已有的光光纖鏈路直接接連接到數據據中心的SAAN交換機上上，并且將AAMS 2000也作為UUSP V的的外部設備來來管理和使用用。同時，選選擇HDS Insysstem RRepliccationn Suitte系統內數數據復制套件件來實現數據據的快照/鏡鏡像復制，將將數據中心各各個業務系統統的數據通過過鏡像的方式式復制到AMMS 2000上進行保存存，當數據中中心發生故障障時，可迅速速從AMS 200上進進行數據恢復復，或直接將將應用系統服服務器連接到到AMS 2200，先恢恢復業務的正正常運作。項目實施：整合合原

12、有存儲，形形成統一平臺臺從附圖中可以看看出，以HDDS USPP V作為核核心搭建的存存儲系統架構構由三個層面面組成：應用用主機層，集集中了所有的的業務系統主主機；核心存存儲和虛擬化化引擎層，由由HDS UUSP V搭搭建；異構存存儲池，由系系統中的若干干利舊設備，如如HDS、EEMC等廠商商的各檔存儲儲設備組成。上述的三層架構構實現的存儲儲優化拓展功功能包括：1核心引擎滿足高性性能及高可靠靠性需求。在在上述三層架架構中，HDDS USPP V智能控控制器系統和和磁盤子系統統由HDS公公司進行統一一設計，傳承承了延續數代代的高可靠性性技術和高性性能技術，因因此完全能夠夠擔負起整個個存儲系統的的

13、核心指揮職職能。2存儲分區增強數據據可靠性及訪訪問性能。目目前核心關鍵鍵數據保存在在HDS UUSP V的的內置磁盤上上。為了進一一步保證各省省關鍵業務的的存儲響應時時間，HDSS USP V可以端口口、Cachhe以及磁盤盤為單位，劃劃分獨立的存存儲分區，形形成數個存儲儲子系統與各各業務相對應應，在每個子子系統內部存存儲資源的訪訪問可以被相相應的應用業業務所獨享，保保證關鍵業務務系統具有穩穩定的I/OO服務質量。3存儲整合通過存儲儲虛擬化技術術實現利舊整整合。在HDDS USPP V自帶虛虛擬化引擎的的驅動下，異異構存儲池被被映射成HDDS USPP V的內部部存儲資源。應應用主機層不不必關

14、心異構構存儲池的設設備組成，只只需使用面向向HDS UUSP V的的統一接口就就能夠透明的的訪問異構存存儲池資源。4分級存儲通過存儲儲虛擬化技術術實現數據自自動分級轉移移部署。非關關鍵的業務數數據、以及隨隨著時間發展展重要性漸漸漸降低的歷史史數據被HDDS USPP V虛擬化化引擎逐步遷遷移到異構存存儲池中，關關鍵業務數據據、最新業務務數據在HDDS USPP V的自帶帶內置硬盤空空間上進行保保留。5應急系統聯聯機恢復通過存儲虛虛擬化技術實實現在線應急急恢復。利用用HDS UUSP V進進行數據遷移移的功能，虛虛擬化之后的的CX7000作為應急系系統啟用后，可可在主機業務務運行的情況況下，在線

15、轉轉移回到HDDS USPP V主存儲儲系統，無需需調度生產業業務系統的停停機。6.異構系統災災備通過過存儲虛擬化化技術實現異異構數據統一一復制。HDDS USPP V虛擬化化引擎的異構構容災技術，支支持異構存儲儲池中的任意意存儲設備進進行遠程互備備，大大簡化化了容災系統統的部署和管管理。無縫數據遷移，真真正實現數據據分級存儲數據遷移是企業業IT經常面面對的工作，本本次需要面對對的是存儲領領域的數據遷遷移。在采用用了HDS的的USP VV網絡存儲控控制器之后，所所有的數據復復制問題顯得得非常簡單。僅僅僅需要將原原有的光纖存存儲設備掛接接到USP V的后端，然然后修改原有有設備的LUUN屬性使得

16、得USP VV能夠看到外外部設備，此此時應用系統統既可以進行行數據訪問，而而USP VV數據遷移軟軟件可以自動動在后臺進行行，當遷移完完成后用戶就就可以釋放外外部存儲設備備上的空間。通通過HDS的的USP VV網絡存儲控控制器不但可可以將外部存存儲設備的數數據無縫平滑滑的遷移到內內部，還可以以很方便的將將USP VVU內部的數數據遷移到外外部存儲設備備上去或者在在兩個外部設設備之間進行行數據遷移。這這樣，我們就就可以根據各各個應用的生生命周期，靈靈活的進行數數據部署，確確保最有效地地存儲資源分分配給了最關關鍵的業務系系統，或是在在業務系統最最關鍵的反展展階段能夠獲獲得最高效的的存儲資源。存儲分

17、區保證關關鍵業務經過對油田公司司數據中心各各個業務系統統的運行特點點進行分析，發發現油田公司司數據中心各各個業務系統統具有很大的的不均衡性，某某些業務可能能產生的效益益非常高非常常關鍵，而另另一些業務卻卻十分低。因因此，對于效效益非常高的的關鍵應用就就有必要給予予特別的關照照，給予足夠夠的系統資源源，保證這些些應用的連續續不間斷運行行。HDS USP VV的虛擬分區區技術正好可可以滿足這一一要求。USP V獨有有的存儲虛擬擬分區技術，通通過選配分區區軟件，可以以將一臺USSP V分成成多個專用虛虛擬存儲機，每每個專用虛擬擬存儲機都擁擁有專用的高高速緩存、前前端主機通道道、后端磁盤盤通道、磁盤盤

18、組等存儲資資源，可以為為油田公司數數據中心中最最關鍵的業務務分配獨立的的分區，不同同分區之間可可以實現完全全隔離和安全全保證，確保保最重要的應應用能夠享受受到最好的服服務質量。如如下圖所示：設備配置說明1、數據中心核核心存儲平臺臺HDS UUSP V：配置20快快300GBB 10Krrpm雙活端端口光纖磁盤盤，存儲陣列列物理容量共共6TB，采采用RAIDD1（2D2D）數據據保護方式，系系統可用容量量為3TB配置16GGB數據緩存存（Cachhe），5GGB控制緩存存配置一對前前后端混合處處理板，包括括16口2GGB/4GBB FC前端端接口配置了1對對16口主機機接口板，共共32個2GGb

19、ps主機機端口配置1塊3300GB110Krpmm全局熱備盤盤2、USP VV存儲系統軟軟件：配置Ressourcee Manaager資源源管理套件，包包含SAN環環境下LUNN安全管理的的軟件許可SSANtinnel，包含含性能優化的的軟件許可FFlashAAccesss配置USPP V存儲系系統內數據復復制套件，包包括ShaddowImaage數據鏡鏡像軟件和QQuickSShadoww數據快照軟軟件，共155TB軟件許許可，可以通通用于USPP V內部數數據卷和外部部存儲數據卷卷Hitacchi Dyynamicc Provvisionning（日日立動態配置置）軟件、增增強型Uniiversaal Vollumn MManageer（通用卷卷管理軟件）在在企業級虛擬擬層實現了動動態精細化預預配置功能，使使用戶首次能能夠在一個整整合的解決方方案中就可同同時獲得外部部存儲虛擬化化的益處，根根據自