TableofContents1 用戶需求分析 41.1 背景概述 41.2 客戶需求 42 方案設計原則 53 本項目實施的重點 74 NETAPP存儲系統特點 85 整體架構設計 96 NetAppMCC方案描述 106.1 NetApp雙活數據中心設計方案 106.2 第一階段，建立雙活數據中心 116.2.1 數據中心雙活架構可行性分析 116.2.2 風險和影響分析 156.2.3 雙活建設方案 166.3 第二階段規劃，完善異地容災，實現完整的“兩地三中心”架構 186.3.1 容災驗證和演練 196.4 第三階段，利用存儲集成數據保護機制完善數據保護機制 206.4.1 邏輯故障防范–秒級備份和恢復 216.4.2 D2D備份設計規劃 227 MCC方案布線連接示意圖 248 NetApp的雙活數據中心架構技術優勢 248.1 NetApp雙活數據中心架構在中國金融行業的部分成功案例 268.2 同城容災系統與雙活數據中心架構的比較 318.3 雙活數據中心架構的優勢和設計思路 328.4 主備數據中心升級為雙活數據中心 338.5 雙活數據中心架構實現方式比較 349 存儲虛擬化平臺技術方案 359.1 雙活存儲虛擬化平臺設計方案 359.2 雙活存儲虛擬化平臺故障切換場景 379.2.1 NetApp存儲雙活站點故障切換場景1 379.2.2 NetApp存儲雙活站點故障切換場景2 389.2.3 NetApp存儲雙活站點故障切換場景3 399.2.4 NetApp存儲雙活站點故障切換場景4 409.2.5 仲裁站點設計方案及實現方式、功能說明 409.2.6 雙活數據中心的擴容升級 4110 NetApp一體化平臺面向私有云架構的優化管理 4211 MCC架構與VMware虛擬化平臺的結合 4411.1 NetApp一體化平臺與服務器虛擬化的整合 4411.2 虛擬化環境中的性能提速技術 4511.3 虛擬化環境中的數據保護和災備 4711.4 NetAppFAS和VMware的深度集成 4811.5 VSC存儲管理插件 4911.6 NFSPlug-in插件 4911.7 SRA插件 5011.8 VAAI插件 5011.9 VASA插件 5011.10 內置消重功能，降本增效 5011.11 vSphereHA實現的VM自動切換 5211.12 vSphereDRS組雙活架構設計原則 5211.13 VMwarevSphereHAforNetAppMetroCluster 5311.14 VM失效場景 5411.15 ESXihost失效 5411.16 ESXihost失聯 5611.17 磁盤擴展柜整盤柜故障 5711.18 控制器節點故障 5811.19 站點間心跳網絡失聯 5811.20 站點完全失效 6112 MCC架構與OracleRAC結構的結合 6112.1 架構對Oracle故障及災難場景應對 6112.2 Oraclenode單節點故障 6212.3 OraclehostHBA失效 6312.4 aggregate單個磁盤失效 6312.5 diskshelf磁盤柜失效 6412.6 MetroClustercluster控制器故障 6412.7 MetroClustercluster后臺FC交換機故障 6512.8 ISL心跳級聯線故障 6512.9 siteAtositeB主動站點級切換 6612.10 siteAtositeB被動站點級切換 6613 NetApp一體化存儲平臺在石油行業的廣泛應用 6714 NetAppNAS系統在石油行業勘探開發領域的優勢 6715 NetApp一體化平臺在國內勘探開發領域應用案列 6916 NetApp存儲資源池的劃分方案 7016.1 NetApp存儲目標架構 7016.2 存儲架構的分層設計 7216.2.1 與前端高端存儲的接口設計 7216.2.2 存儲交換網絡設計 7217 存儲資源池的數據安全與隔離方案 7617.1 數據安全設計 7617.1.1 RAIDDP 7617.1.2 本地Snapshot 7717.2 數據隔離設計 7717.2.1 應用數據的邏輯隔離 7717.2.2 網絡隔離 7817.2.3 存儲數據卷隔離 7818 存儲資源池的監控與管理 7918.1 NetAppOnCommand監控工具 7918.2 存儲產品監控方法 8118.2.1 容量管理 8118.2.2 性能管理 8118.2.3 狀態管理 8218.3 存儲資源池內部和跨存儲資源池的數據遷移方案 8318.3.1 資源池內部數據遷移設計 8318.3.2 跨資源池的數據遷移設計 8318.4 資源調度和調整自動化方案 8418.4.1 存儲資源調度功能設計 8418.4.2 存儲資源池管理流程 8518.4.3 存儲自動化腳本編寫 8718.5 存儲配置標準化設計 88用戶需求分析背景概述華北油田是中國石油天然氣股份有限公司華北油田分公司的簡稱，主要從事石油天然氣勘探和生產、石油天然氣儲運、石油天然氣勘探開發工藝研究及規劃研究等石油勘探開發核心業務。目前華北油田勘探開發研究院平穩運行兩部分私有云平臺，分別為企業IT信息化應用平臺私有云和高性能計算地質云，兩個云平臺彼此物理分離，獨立運營維護，分別滿足勘探開發采集數據的存儲，高性能計算和企業門戶，管理平臺，數據庫及OA等業務系統。客戶需求目前需要針對企業IT信息應用平臺私有云進行升級改造，建立滿足企業未來發展需要的IT基礎架構平臺，建立IT基礎架構資源池，提供滿足各種服務響應級別要求的IT資源服務。企業私有云的存儲平臺作為整個IT基礎架構的最底層基礎平臺，將決定整個IT基礎架構私有云平臺的可靠性、可用性和資源使用效率。存儲平臺作為企業私有云共享基礎架構平臺，需要滿足為前端各種類型的應用平臺提供數據共享存儲服務，存儲平臺的可靠性和可用性直接影響到私用云平臺的可靠性和可用性，目前最可靠的容錯和容災架構就是能夠達到RPO=0，RTO≈0的數據中心雙活基礎架構。建立數據中心雙活基礎架構可實現業務連續性的量化指標如下：情景解決方案業務系統運行情況單一組件故障全冗余系統架構零影響單一生產存儲故障雙活數據中心RPO=RTO=0，零影響數據中心癱瘓雙活數據中心RPO=RTO=0，零影響生產數據邏輯故障快照結合日志恢復RPO~0（恢復到出現故障前）RTO<30分鐘區域性災難異地災備系統RPO<5分鐘，RTO<60分鐘存儲平臺作為企業私有云共享基礎架構平臺，前端各種類型的應用平臺所需的數據類型和訪問模式也不盡相同，既有需要滿足高并發、高IOPS的結構化數據塊型應用類型，如Oracle數據庫，又有滿足高并發、共享訪問、協同工作需求的NAS文件類應用需求，如大部分的非結構化文件系統類的數據訪問需求。特別是面向VMware虛擬化平臺，由于VMware虛擬化平臺的特殊架構，既有數據塊類型的訪問需求，又有大量的NAS文件系統類型的訪問需求，所以存儲平臺必需是采用一體化架構的基礎平臺，可以提供各種類型的最新一代高速訪問接口，如16GbpsFC接口，10GbpsIP接口或FCoE接口，同時提供FCSAN、IPSAN、NAS等多種存儲連接能力，可以根據應用平臺需求，按需提供各種服務響應級別的存儲服務，最大化資源共享和資源復用能力，最大化IT基礎架構的使用效率。同時雙活基礎架構平臺也需要同時滿足一體化平臺的雙活能力，既能夠提供SAN類型數據的雙活，也同時能提供NAS類型數據的雙活架構。方案設計原則整體方案設計將遵循以下基本原則：先進性：先進的設計思想、網絡結構、開發工具，市場覆蓋率高、標準化和技術成熟的軟硬件產品。靈活性：由于存儲系統的數據量非常大，如何與VMware虛擬化結合，管理大量的數據，包括數據備份/恢復，都對存儲系統的管理提出了巨大的挑戰。系統管理人員需要有高效的方法實現全面的存儲系統監控，包括實時數據性能監視、錯誤監測、錯誤狀態識別等等。另外作為集中的存儲平臺，由于前端需要連接的服務器數量很多，如何在多個服務器平臺之間對容量進行靈活的劃分和調度也將為存儲系統的管理提出了巨大的挑戰。采用積木式模塊組合和結構化設計，系統配置靈活，滿足用戶逐步到位的建設原則，使存儲及網絡具有強大的可增長性和強壯性。可靠性：本次存儲系統數據的集中管理，屬于關鍵業務，對系統的高可靠性有著很高的要求。由于采用了集中存儲方案，存儲平臺的任何故障均會造成巨大的影響。因此存儲平臺的數據安全性和系統高可靠性尤為重要，我們設計的整體系統軟、硬件設備具有高可靠性，具備長期穩定工作的能力，可實現系統冗余功能，并具有防止誤操作等行為對系統造成的破壞。實用性：方案設計符合國際相關標準和技術規范，并且容易使用、操作簡便。充分考慮利用各種資源，人機界面友好，能使用戶最方便地實現各種功能。高性能：存儲系統要存儲大量的在線/離線數據信息,支持更多服務器的數據存儲要求。由于總的數據量較大,如何在大數據量情況下滿足多客戶機的并發訪問，整個存儲系統的性能也是一個非常關鍵的要求。發展性：考慮到將來業務的增長，數據量還會持續增加，客戶機的數量也會繼續增加，系統的性能還應能很好的適應未來的擴展需要。存儲系統規劃設計滿足用戶發展在配置上的預留，滿足因技術發展需要而實現低成本擴展和升級的需求。擴展性：作為集中存儲的基本要求，存儲系統應能支持巨大的存儲容量，可以集中存儲不同平臺的應用數據。隨著時間的推移、技術的發展以及環境的變化，業務系統的數據量會飛速增長，許多新業務系統會不斷產生，因此對存儲系統的可擴展性有很高要求。這主要表現在對存儲系統容量的平滑擴充以及對新的主機系統的平滑連接，以盡量減少對已有正常業務的影響。我們設計的系統具有開放的、可擴展的系統架構，在中石油相關業務發生變化時，可以方便地進行系統升級與擴展。兼容性：同時連接不同的服務器平臺，以滿足數據集中存儲的需要系統建設具有良好的兼容性，充分考慮系統向下、向上的兼容，將系統建設和現有的系統資源以及未來的系統規劃充分結合。本項目實施的重點從云計算的定義出發，借鑒業內的云計算項目的經驗，我們認為，要成功設計并實施云存儲系統，必須考慮如下要點：存儲能夠靈活地擴展性。存儲平臺云化后應該類似于對虛擬服務器做的事情，需要能夠迅速且以最少的開銷分配、增加、減少并重新分配存儲。而在中石油架構中，由于NetApp存儲需要通過高端存儲網關向主機提供容量空間。存儲的擴容、監控、調整等帶來的天然的復雜性，如何處理存儲的日常調整是項目設計與實施中需要重點考慮的內容。能夠自動化存儲管理流程。進行配置、備份和復制等常規操作的自動化程度越高，環境的可擴展性就越強。能夠測量和匯報使用情況。為了實施云服務，必須將資源理解為滿足各部門和各業務系統服務需求的一個要素，能夠匯報該要素實際的使用情況，并且現在或將來能夠按照資源的使用情況進行審計。能夠自由移動數據。如果數據束縛在缺乏靈活性的存儲里，有效性和可用性將變差。能夠在確保資源足夠安全的時候建立多租戶，達到安全隔離要求。允許多個業務單元或獨立應用系統分享同一存儲硬件是有效云存儲的一個必要條件。能夠提升存儲效率。第一步是提高利用率，除此之外，削減開銷、自動精簡配置和消除冗余都有助于提高效率。能夠有效保護業務數據。成功實現云的一個關鍵是集成所有的流程，讓它們變得簡單、可重復和有效。具有合適的策略級別、覆蓋所提供的每項服務的一致數據保護和災難恢復流程是基本的。存儲環境支持存儲虛擬化。存儲虛擬化將是云架構的一個關鍵組成部分，需要存儲與現在正在使用和將來很可能采用的任何虛擬化解決方案緊密集成在一起。NETAPP存儲系統特點統一存儲平臺，一體化設備，同時支持FCSAN、IPSAN、NAS、FCoE，FCSAN和NAS在同一個管理界面下進行管理，存儲空間管理方式完全相同，管理簡便，可靠性高，易于維護。NetApp一體化存儲平臺集成存儲虛擬化和存儲雙活解決方案，無需任何外置的控制器，與VMware與OracleRAC架構的緊密結合，提供應用級雙活解決方案，全球有超過8000個雙活結構案例，廣泛應用于金融行業的核心業務系統及制造行業的ERP系統。NetApp存儲產品完全模塊化設計，產品包括從底端6塊磁盤到最高端4800塊磁盤，擴容和升級簡便，產品延續性好，管理方式也完全相同，具有良好的擴展，易于保護投資。NetApp存儲產品全部采用RAID6磁盤容錯技術，數據保護級別最高，容錯能力最強，磁盤利用率遠遠高于RAID0+1，產品性價比好。NetApp存儲產品提供副本消除技術，節省存儲空間的耗費，最大可以比同類產品節省30-50%的存儲空間耗費。NetApp存儲產品可以提供一整套完善的存儲集成數據備份和容災解決方案，解決數據管理的所有問題。NetApp存儲產品具有同類產品的最優性能，包括FCSAN性能和NAS性能，以及IPSAN性能。NetApp存儲產品同時支持SSD、SAS磁盤和SATA磁盤，可以達到性能、空間以及電力耗費的最優配比。配置復制備份軟件、應用程序管理套件解決數據備份、應用程序數據備份恢復。NetApp存儲產品結構最簡單，對于中石油項目涉及的控制器數目最少，需要的管理平臺也最少，對電力和空間的耗費最小。容量擴展簡單命令、一秒鐘即時見效，獨到的Qtree概念方便空間的管理，同時真正實現“所買即所需”的升級模式，最大程度保護投資，不存在任何重復購買現象。最優的整體擁有成本（TCO）。集群架構，徹底避免單點故障。數據大集中，有效利用存儲空間，磁盤利用率最高。存儲設備有業界領先的快速響應時間（NetApp是業界第一個提供低于1ms響應時間的存儲廠商）。專業DataONTAP操作系統，高度可靠，免于病毒侵襲感染。秒鐘級的備份和恢復，減少宕機時間，充分提高數據和系統的可用性。Unix和Windows可以實現真正文件級的數據共享，節約投資、簡化管理；整體架構設計本次項目配置2套NetAppFAS8060一體化存儲系統平臺構成雙活體系架構，NetAppFAS8060一體化雙活架構，含4個控制器節點，每節點64GB緩存，合計256GB緩存，配置無容量限制存儲虛擬化許可FlexArray，支持連接第三方存儲設備，合計配置32個16GbpsFC端口，配置雙活架構光纖連接設備，含4套Brocade6505交換機，4個ATTOSAS-FC橋接器，配置336塊1.2TB10krpmSAS磁盤NetAppMCC方案描述NetApp雙活數據中心設計方案統拓撲示意圖如下：第一階段，建立雙活數據中心前面已經討論過，雙活數據中心是當前成熟的部署方式，相對于傳統主備容災，有很多優點。但首先需要分析的是，雙活數據中心如何落地？數據中心雙活架構可行性分析完整的雙活數據中心需要以下幾個層面的支持：雙活的存儲架構。支持一個數據庫實例在兩個數據中心之間互為鏡像，任一損壞都不會影響應用運行。跨數據中心的存儲網絡互連（ExtendedFabric），Oracle官方建議RAC之間的鏈路延遲低于1ms（Round-Trip）。跨數據中心的主機高可用跨數據中心的應用雙活跨數據中心的應用網絡互連，要求延遲低于1ms（同樣是OracleRAC的要求）因此，首先需要確認可以獲得低延遲的裸光纖鏈路，用于存儲的最低要求是4對裸光纖：用途連接設備光纖(對)服務器到存儲原有SAN交換機互聯2雙活存儲互聯(心跳)MC內部SAN交換機互聯4（建議）主機高可用方面，無論是IBMPowerHA、HPServiceGuard、MSCS、VCS等都支持長距離的高可用集群。因此這個條件也是具備的。應用方面，主要應用是OracleRAC。OracleRAC在這種遠距離距離的實施，早在2006年就有大量的安裝案例了。可參考Oracle白皮書《OracleRealApplicationClustersonExtendedDistanceClusters–UpdatedforOracleRAC10gRelease2》，發布日期是2006年10月。OracleRAC在NetAppMetroCluster上的應用是非常成熟和可靠的，早在2008年，Oracle官網就介紹了RAC和NetAppMetroCluster的案例，見：/us/solutions/custstory-rac-gottwald-177716.pdf下圖描述了OracleRACExtendedCluster基于NetAppMetroCluster技術上的實現(兩地三中心)：值得指出的是，當前其他應用平臺都能夠支持雙活技術了，如DB2、vSphere等。VMware的白皮書“VMwarevSphereMetroStorageClusterCaseStudy”就以NetAppMetroCluster為例，闡述了VMware如何實現雙活數據中心。

綜上所述，現有生產環境升級到雙活數據中心完全是可行的。升級之后，同一個應用可以同時跑在兩個數據中心，兩個數據中心對客戶端提供統一的接入接口。可以這樣講，邏輯上的一個應用，物理上分布到兩個數據中心，均衡負載，互為備份。發生任一單點故障，均不會影響應用運行。請參見下圖：風險和影響分析由于雙活數據中心的各個組成方面，或者是已經具備條件，或者采用成熟解決方案，如果實施計劃周密，風險完全可控。兩個數據中心之間采用可采用運營商裸光纖，同時也可利用xWDM設備實現線路復用（南充商行將部署DWDM設備），滿足雙活的基本要求。如有將來有條件，可考慮增加不同的運營商或者物理路徑，從而實現鏈路的物理冗余。另外一個需要考慮的因素是長距離OracleRAC的性能是否會降低。根據Oracle官方文檔的評估，在20KM距離下，OracleRAC在兩個數據中心上運行的性能，比所有設備在同一數據中心運行的性能，性能低了不到5%：雙活建設方案存儲方案建議選擇NetAppFAS8060統一存儲設備作為核心應用持續高可用存儲。核心應用存儲由兩套FAS8060統一存儲構成，兩套FAS8060之間通過同城DWDM光纖連接，采用光纖鏈路實現互相的心跳檢測及數據傳輸，存儲系統采用物理磁盤組成兩份物理鏡像通過SyncMirror軟件實現磁盤數據同步，利用MetroCluster技術實現存儲遠程雙活集群。借助第三地的Tiebreaker仲裁節點，可以有效地防范雙活架構中的“腦裂”（SplitBrain）現象，并實現自動化的故障恢復。

NetAppFAS8060磁盤陣列作為是NetApp公司的最新一代的統一存儲架構的磁盤陣列產品，能夠為用戶提供高性能、大容量存儲系統。NetAppFAS8060不論從性能、可靠性和擴展能力都可以滿足用戶對當前和未來的數據存儲系統的要求。FAS8060是一款中高端的企業級存儲設備，SAN平臺下最大支持8個控制器、512GB一級緩存和32TB二級緩存，最大容量為4800塊磁盤、11.5PB，可以支持最多96個16Gb光纖通道口。云平臺數據庫類型應用數據基本上為結構化數據，可以考慮采用高性能、低延遲的FCSAN網絡部署。每個數據數據中心需部署兩臺SAN交換機，形成冗余的存儲網絡。云平臺文件類非結構化數據，可以采用NAS方式進行部署，網絡為IP網絡，同樣需要建立冗余的訪問路徑。對于虛擬化平臺，可選擇部署在NAS的大文件系統上，通過NFS協議訪問，非常有利于管理和擴展，也可選擇FCSAN方式，利用其高性能、低時延的特點。總結起來，本階段雙活數據中心達到的目標是：針對各類物理故障可實現零數據丟失和零應用影響。所需要具備的條件和設備如下：6對裸光纖鏈路（其中4對用于存儲互聯，2對用于主機端SAN網絡互聯）。對稱部署的NetAppFAS8060雙活存儲NetAppTiebreaker軟件NetApp專業實施服務第二階段規劃，完善異地容災，實現完整的“兩地三中心”架構第一階段云平臺雙活數據中心完成后，可總結第一階段的經驗，并著手第二階段的規劃實施。在異地災備中心，可以利用一臺NetAppFAS8000，虛擬化利舊的EMC存儲，與生產中心的FAS8060MetroCluster雙活存儲實現遠程容災復制。采用的復制技術是FAS8000內置的SnapMirror遠程容災功能，可直接支持IP鏈路，支持鏈路壓縮。SnapMirror允許客戶選擇適當的同步級別（同步、半同步和異步），從而實現了較高的災難恢復保護級別。其中異步模式復制間隔最低為1分鐘。SnapMirror支持數據的增量反向遠程復制：在正常情況下，業務數據從主磁盤陣列復制到容災磁盤陣列上。在主磁盤陣列發生故障無法正常運行的時候，前端主機可以直接訪問容災磁盤陣列上的數據，當主磁盤陣列恢復正常運行的時候，這時可以利用SnapMirror增量反向遠程復制功能以增量的方式把容災磁盤陣列上那些變化的數據復制到主磁盤陣列上，大大縮短了系統恢復到原有狀態所需的時間，使得兩邊的數據再次保持一致，然后就可以恢復SnapMirror的正常數據復制。服務器方面，可利舊原有服務器，應用級容災。雙活系統所需的Tiebreaker，可部署在容災中心。容災驗證和演練容災數據的驗證和測試，以及定期的容災演練，是容災系統建設不可缺少的部分。通過容災數據的驗證測試，以確保容災中心的數據完整性和可用性；而定期的容災演練，有利于讓維護人員熟悉容災流程，完善應急預案。使用NetApp獨有的精簡克隆技術，可利用任一快照，秒級生成克隆，極低空間占用。利用這些克隆可方便地進行容災系統中必須定期完成的容災演練、數據驗證。請參見下圖：第三階段，利用存儲集成數據保護機制完善數據保護機制隨著數據量的增加，同時希望故障后對業務的影響降到最低，因此有必要建立多重數據保護機制。前面提到，對于邏輯故障，現有解決方案是采用傳統備份軟件。但是在恢復速度上滿足不了新的要求。解決辦法是：使用雙活存儲設備自身的快照備份功能，實現秒級數據備份和恢復優化原有備份方式，例如采用D2D2T的備份方案，備份和恢復速度上得到一定的提升，同時也可以保留離線歸檔備份。未來災備存儲也需要建立快照歷史備份，有效應對邏輯故障傳遞建設完成之后，可以達到的效果是：恢復最近的數據，可利用雙活存儲自身的快照備份，秒級數據恢復，分鐘級恢復應用恢復較長時間前的數據，從近線存儲（可考慮未來部署一套）恢復，可實現分鐘級的數據恢復邏輯故障防范–秒級備份和恢復NetAppFAS8000內置快照功能，提供秒級備份和恢復功能，有效防范邏輯故障(海量文件、數據庫和虛擬機的最有效備份恢復方式)利用NetApp卓越的快照技術，對Oracle、DB2、SQLServer以及海量文件系統進行數據一致性的秒級快照備份。備份窗口從原來的幾個小時縮短為1~2分鐘，僅僅為數據進入熱備模式時間+1秒。對于同一個數據庫，NetApp支持多達255個時間點的歷史備份。如數據庫（Oracle、DB2、SQLServer）或文件系統發生邏輯數據錯誤，可使用SnapRestore進行快速的恢復。數據恢復時間為數秒，再加上日志重做的時間，應用恢復可控制在十幾分鐘至數十分鐘內，遠低于其他方案的數個小時。虛擬化平臺（如VMware）下，因為備份窗口過長,傳統的備份技術更加難以適應。而NetApp的快照技術，不但可以通過秒級備份和恢復解決這一問題，而且還可以實現與VMware在管理上的集成。即備份恢復數據，僅僅需要在vCenter內部調用NetApp的功能即可，無需掌握備份軟件、無需掌握存儲管理技術，提升應用在線能力的同時，大幅降低了管理的復雜度。D2D備份設計規劃在未來，還可利用一套NetAppFAS8000作為近線存儲，利用高效的SnapVaultD2D備份，提升應用的可用性。和傳統備份模式相比，NetAppSnapVault是Server-Free方式，備份流不通過主機，因此不會影響主機性能；而傳統方式為LAN或者LANFree方式，對主機性能有一定的影響。除此之外，NetAppSnapVault和傳統備份模式相比，還有如下優點：項目NetAppSnapVault傳統D2D備份數據備份很快，秒級更多的備份點很慢，小時級一天一個備份點對生產的影響無較大，且時間較長數據恢復很快，秒級很慢，小時級空間效率高，僅一次全備的方式，加上消重技術較高，僅虛擬帶庫的消重技術備份驗證方便，且不需要空間–降低人力、硬件成本復雜，且需要額外空間–額外人力和硬件成本備份數據利用備份數據為主機可以直接識別和掛接的格式；可方便用于開發、培訓以及生產應急，提升投資回報率只能用于數據恢復許可證方式總體很低：僅一次性購買，再多的主機接入、再多的數據量，均不會增加成本總體很高：按主機數量收費，每增加業務主機，需要額外購買備份軟許可MCC方案布線連接示意圖NetApp的雙活數據中心架構技術優勢這兩年來，大數據行業的應用有以下發展：一是數據量越來越大，數據類型也呈多樣化。由于大數據和云技術的應用發展，各行業的沉淀數據量呈幾何級增長。我們估計，在不久的將來，很多行業的數據量將達到PB級別。同時，非結構數據和結構化數據在各應用中將并存，而且數據增長方向主要在非結構化數據。如何管理海量的數據，對傳統存儲來說，是巨大的挑戰。二是應用要求越來越高。這既體現在應用對“不中斷運行”的要求上，同時也對應用系統性能的需求。兩者其實可以歸為一個目的，保證應用正常運行，減少宕機時間。三是應用種類越來越多，對管理維護也提出更高要求。新需求不斷地提出，也會產生新的應用。那么對于存儲系統最大的挑戰是，如何滿足新應用需求的同時，降低管理維護的復雜度。四是突破不同系統、不同行業、不同地域之間的信息壁壘，實現充分的信息資源共享、互備。利用傳統的存儲技術，要實現以上目標，必須付出很大的代價。而NetApp的創新技術可以幫助用戶輕松實現，而且這些技術全部“統一”到一個平臺上了：統一存儲

NetApp發明了統一存儲，它可以同時整合不同類型的數據，統一管理。同時，單套NetAppFAS存儲可以管理超過50PB的數據量，輕松應對新的業務帶來的海量數據––這正是我們擅長的。

彈性擴展

從較小的型號起步，后期也可以靈活地對性能和容量進行擴展和升級，沒有數據遷移的陣痛，而且可以保護原有投資。

業務連續性

NetApp存儲內置了豐富的數據保護措施，足以應對各類故障。如“雙活”、容災、秒級快照備份、D2D備份…這些功能全部內置于存儲本身，不需要額外購買軟件。

高效率存儲技術，應對海量數據

針對日益膨脹的數據量，NetApp免費提供了壓縮、消重等技術，可以大幅降低磁盤購買量。NetApp還提供性能加速技術，各項性能測試表明，相同硬件配置下，NetApp可以提供最好的性能，保證核心業務的最低延時目標。

面向虛擬化、云計算的共享式架構

NetApp最初設計就是按照共享式的IT架構來做的。共享式架構，也是虛擬化和云計算的基礎。不但可以打破應用、地域之間的信息壁壘，同時還可以提升硬件資源利用率，降低維護復雜度。更重要的是，面對新的應用需求時，可以做出更快的反應和調整。NetApp雙活數據中心架構在中國金融行業的部分成功案例NETAPP在金融行業部分成功案例客戶名稱產品型號及臺數應用SnapMirror災備距離是否為MetroClusterSAN/NAS中國銀行FAS6040A*2CallCenterY同城NSAN/NASFAS3240A*2分行級核心應用Y同機房NNAS中國建設銀行總行數據中心FAS6280AMC*1數據交換平臺N同城YNASFAS6280*42+FAS3200*6虛擬化云平臺+非結構化數據云平臺N

同機房YFCSAN+NAS招商銀行總行數據中心FAS3040A*2郵件系統Y深圳-南京NFCSANFAS3040A*2DB2/MSSQL數據庫,通用系統Y深圳-南京NFCSANFAS3040A*2網銀日志Y深圳-南京NNAS招商銀行總行數據中心FAS6040AMC*2VMwareY深圳-南京YFCSANFAS3040AMC*1VMwareN同城YFCSANFAS6240AMC*1招商銀行信用卡中心FAS6240AMC*1WindowsSQL，一卡通網關，第三方支持平臺N同機房YFCSAN深圳發展銀行總行（現平安銀行）FAS3240AMC*1VMware/OAN同機房YiSCSI/NASFAS3240AMC*1ODS應用系統，IBM小機＋OracleN同機房YFCSANFAS3240AMC*1Oracle報表系統N同機房YFCSANIBMAIX+OracleRAC內蒙古銀行FAS3140*1，FAS3040*2核心系統，兩地三中心Y兩地三中心NFCSAN烏魯木齊商行FAS6220（V）*2前置整合，儲蓄，國債，支票影像，OA，城商聯盟，黃金系統，信貸，基金，銀聯，VM虛擬化Y同城（10KM）NFCSAN四川省農村信用社FAS2040*16后督系統N無NNAS成都銀行FAS6240*1，FAS3220*5流程銀行Y同城NFCSAN南充銀行FAS6220*1流程銀行，數據倉庫N無NFCSAN/NAS上海農商銀行FAS6240*2虛擬化平臺部署及容災Y同城YFCSAN/NAS曲靖商行FAS3240MC*2核心業務系統Y同機房+曲靖/昆明雙中心YFC浦發銀行信用卡中心FAS3040*2文件服務Y同城NFC浦發銀行數據中心FAS3020*2文件服務Y同城NNAS交通銀行數據中心FAS6240AMC*1VMwareN同機房YFCSAN交通銀行數據中心FAS6030A*2VMwareY同城NNAS文件服務民生銀行外匯交易中心FAS6280AMC*1SAPN同城YNASFAS3270AMC*1VMwareN同機房YFCSAN柳州銀行1xFAS3020C銀行核心，OracleRACY200公里NFCSAN2xFAS270C1xFAS2040A桂林銀行1xFAS3160A銀行核心，OracleRACY同城NFCSAN1xV3140A南海農信FAS3140/FAS2050VMwareY同城NFCSAN/NAS影像/日志恒生銀行FAS2040*2文件服務Y同城NNAS匯豐銀行FAS3240*2文件服務Y同城NNAS瑞穗銀行FAS3140*2文件服務Y同城NNAS存儲虛擬化光大銀行FAS3140/FAS2040備份Y北京-上海NNAS中登北京FAS3270A*2文件存儲/服務器虛擬化Y同城/北京-上海NSAN/NAS中登上海FAS3170A*2桌面虛擬化Y同城/上海-北京NSAN/NAS/iSCSIOA服務器虛擬化報文上海證券交易所FAS3210*4文件服務Y同城NNAS信誠基金FAS3210*2核心應用Y上海-北京NSAN/NAS安誠保險FAS3250*1（MC），FAS2240*2全部核心應用+虛擬化Y兩地三中心（重慶-北京）YFCSAN、NAS太平洋保險FAS3210A*2文件服務Y同城NNAS太平洋保險FAS3160AMC*1VMwareN同機房YNAS同城容災系統與雙活數據中心架構的比較在同城這一環節，雙活技術是優于傳統同步容災技術。傳統容災技術有以下局限：故障后切換時間太長，對業務影響很大目前同城災備模式一般為“主備”模式，雖然同步容災技術可以實現RPO=0的目標，即零數據丟失，但是由于同步復制的原理，導致容災庫數據平時完全不能夠被主機訪問和使用。即下圖中，源端存儲實時地將生產庫的變化，復制并更新到目標端的容災庫。因為這個更新是底層存儲發起的，并非通過上層的數據庫軟件完成，所以容災端的數據庫必須保持關閉狀態。只有斷開容災復制關系，才能在容災主機端重新設備和導入存儲設備，掛接和打開數據庫。再加上災難后的網絡切換、數據檢驗時間，導致整個容災切換過程通常以小時來計算。具體的過程一般如下：同城容災中心斷開容災復制關系容災庫掛接到災備主機上，啟動容災庫檢驗容災庫數據有效性將業務請求重定向到容災中心，接管生產

主備關系的容災模式，容災中心設備閑置率高

由于前面提到的技術原因，容災庫實際上一直只能夠處于關閉狀態，因此所有的業務全部在生產中心處理，而容災中心設備利用率很低，無法分擔生產任務。邏輯故障應對能力較弱

由于生產庫和容災庫為實時同步，因此當生產端出現邏輯故障，如誤刪除一張表、誤刪除一個數據文件（OracleDatafile）、Oracle出現bug導致無法啟動，容災端也會出現同樣的故障。

目前應對此類故障主要依賴于備份軟件。但恢復數據和業務時間通常都是以小時來計算，對業務影響較大。管理復雜度較高由于容災庫平時都是關閉狀態，如何保證其數據的有效性和可用性？而且容災切換大部分都是人工操作，如何確保應急預案可以順利地執行？因此在容災系統建設中，都存在以下的制度和規定：常態化的數據驗證和定期的容災演練。這樣無疑給運維帶來巨大的管理和人力成本。對于以上的情況，雙活數據中心具有更好的技術和解決手段。接下來，我們將對這些技術進行介紹和分析。雙活數據中心架構的優勢和設計思路為解決前面提到的問題和挑戰，本方案提出以下幾點建設目標：同城災備升級為同城雙活，消除嚴重故障對業務的影響全面提升業務連續服務能力均衡負載，資源利用更充分和合理優化管理，降低運維成本為實現以上建設目標，可按照以下設計思路，逐步建設和完善。主備數據中心升級為雙活數據中心業界對于雙活數據中心解決方案進行了深入的研究和發展。2006年開始，主機廠商、存儲廠商和數據庫廠商逐漸將該技術推向市場。目前，雙活數據中心已經非常成熟，而且得到了廣泛的應用。主備數據中心升級為雙活數據中心，并在此基礎上進一步完善為“兩地三中心”模式。這個階段始于2012年。雙活數據中心實現后，可以達到以下目標：極大提升業務連續服務能力

發生重大故障后，業務運行不受影響，消除了現有環境中“容災切換”帶來的停機時間。核心業務系統得到最完善和最充分的保護。我們預計，對于物理故障，雙活數據中心可以實現RPO=0和RTO=0的理想目標。業務負載分攤到兩個數據中心，避免了資源閑置故障后可實現自我修復，大幅降低了人為因素無需常態化的容災數據檢驗和容災演練，降低運維壓力和成本情景解決方案業務系統運行情況單一組件故障（較高概率）全冗余系統架構零影響單一生產存儲故障（低概率）雙活數據中心RPO=RTO=0數據中心癱瘓（低概率）雙活數據中心RPO=RTO=0生產數據邏輯故障(低概率)快照結合日志恢復RPO~0（恢復到出現故障前）RTO<20分鐘區域性災難（極低概率）異地災備系統RPO<5分鐘RTO<1小時雙活數據中心架構實現方式比較雙活數據中心架構主要由基于數據Oracle數據庫的應用解決方案、基于專門的存儲虛擬化雙活網關解決方案、以及存儲系統內置雙活解決方案，NetAppFAS8000一體化存儲平臺就是采用的存儲系統內置雙活解決方案。基于數據庫的解決方案基于專門的雙活存儲網關的解決方案NetAppFAS8000核心業務數據庫的同城雙活很好，但有數據庫品牌的限制很好很好文件服務雙活不提供不支持支持異地災備很好，但有數據庫品牌的限制需要增加CDP平臺支持數據備份慢，應用一致性實時，但非應用一致性很快，應用一致性數據恢復速度慢一般快系統擴展性依賴于底層硬件網關和后端盤陣必須同時擴展，投資較大很好，支持橫向擴展和縱向升級優化運維管理N/A本身由雙活網關、盤陣、CDP三個產品組合而成，管理復雜度增加大幅簡化管理。僅一種平臺，且提供豐富的自動化管理手段，與應用和虛擬化平臺實現深度的集成加速應用研發無無精簡克隆，極低空間，生成多個數據副本，支持并發測試原有存儲利舊支持支持VMware環境多協議支持僅FCSAN全部協議VMware環境熱點數據加速雙活網關無法提供二級緩存自動識別加速熱點數據VMware雙活架構支持支持VMware備份不支持必須引入備份軟件內置，且優于備份軟件VMware遠程容災不支持必須依賴CDP平臺內置存儲虛擬化平臺技術方案 雙活存儲虛擬化平臺設計方案存儲虛擬化平臺是建設虛擬數據中心的核心與關鍵，本次NetApp雙活數據站點虛擬化方案設計可滿足兩個最遠200公里以外的數據中心的虛擬化數據應用，同時可實現存儲后端統一管理其它品牌光纖存儲設備（NetApp存儲虛擬化兼容列表內的其它品牌存儲設備），前端滿足虛擬化應用的需求。存儲虛擬化平臺負責按需提供滿足要求的存儲資源，以及對異構產品的統一管理、保障數據安全等基礎服務。如圖：本次方案中每套存儲虛擬化網關后端配置168塊1.2TB10KSAS磁盤，兩個虛擬化網關最遠位于200km以外的兩個數據中心，為了保證兩個存儲虛擬化數據中心的數據雙活，本次方案采用NetAppMetroCluster技術，在每個數據中心配置一份本地數據及另一個數據中心的鏡像數據，保證數據的統一性和完整性，保證本地硬件設備故障時，可通過訪問異地數據中心的備份數據來保證數據的高可用性，同一個虛擬卷可供兩個數據中心主機同時進行讀寫訪問，并且訪問請求由主機所在數據中心的虛擬化網關/控制器響應。同時為了節約成本，方案可通過采用NetAppFAS8060存儲虛擬化網關整合環境中現有存儲設備，可整合包括IBM、HP、EMC、HDS、3PAR、FUJITSU多家的FC存儲設備，本次配置的存儲設備是經過Vmware認證的存儲設備，可與Vmware完美結合實現存儲平臺上的虛擬化應用，為應用層提供透明的存儲服務。雙活存儲虛擬化平臺故障切換場景NetApp存儲雙活站點故障切換場景1如圖：場景1為SITEA數據中心虛擬化網關發生故障，在此虛擬化網關后端的存儲空間應用無法通過此虛擬化網關訪問，通過第三方仲裁站點仲裁后自動啟用存儲Failover功能啟用，存儲空間應用此時可通過SITEB數據中心的虛擬化網關進行訪問SITEA數據中心的A_LOCAL數據，數據訪問不中斷。此時可通過更換故障虛擬化網關后數據訪問鏈路恢復正常。此場景中數據訪問不中斷。同理，SITEB數據中心虛擬化網關發生故障同樣適用。NetApp存儲雙活站點故障切換場景2如圖：場景2中SITEA數據中心的部分Shelf發生故障，用戶通過存儲虛擬化網關無法正常訪問本地故障Shelf，第三方仲裁站點無任何操作，存儲MetroCluster功能發現SITEA數據中心A_LOCALShelf故障后自動訪問SITEB數據中心的A_LOCAL的鏡像數據，數據訪問不中斷。此時可通過更換故障存儲設備后數據訪問鏈路恢復正常。此場景中數據訪問不中斷。同理，SITEB數據中心部分Shelf發生故障同樣適用。NetApp存儲雙活站點故障切換場景3如圖：場景3中其中一個數據中心的光纖交換機發生故障，SITEA端數據無法通過正常鏈路連接到SITEB數據中心的鏡像存儲設備，通過第三方仲裁站點仲裁后SITEA端的虛擬化網關通過本地另外一臺光纖交換機訪問另一個數據中心的鏡像數據，數據訪問不中斷。此時可通過更換故障交換機設備后數據交互鏈路恢復正常。此場景中數據訪問不中斷。同理，SITEB數據中心光纖交換機發生故障同樣適用。NetApp存儲雙活站點故障切換場景4如圖：場景4中SITEA數據中心的存儲完全故障或是本地數據中心電力故障導致本地數據無法正常訪問，用戶無法通訪問虛擬化網關后端的故障存儲空間，通過第三方仲裁站點仲裁后數據訪問自動切換到SITEB數據中心的鏡像數據，數據訪問不中斷。此時可通過更換故障存儲設備或是電力恢復正常后數據訪問鏈路恢復正常。此場景中數據訪問不中斷。同理，SITEB數據中心存儲完全故障或是本地數據中心電力故障導致本地數據無法正常訪問時同樣適用。仲裁站點設計方案及實現方式、功能說明針對MetroCluster的第三方仲裁是為了應對在MetroCluster環境中發生故障后MetroCluster無法自動進行切換的主動監測，自動切換的仲裁方案。第三方仲裁通過在第三方位置的DFM服務器持續的監測MetroCluster控制器以及網關設備，當仲裁服務器發現MetroCluster控制器達到Failover條件后，則自動執行Failover命令，自動執行Failover操作。如圖：在環境中，位于第三方位置仲裁站點服務器上安裝有MetroClusterTieBreaker（DFM插件），仲裁站點插件可安裝的Windows或Linux服務器客戶端，服務器需通過網絡與兩地雙活數據中心部署的NetAppMetroCluster存儲節點連接。在仲裁站點需創建自動仲裁切換條件雙活數據中心的擴容升級NetApp存儲擴容非常簡單，只需在擴容前做好容量規劃，然后在整套存儲設備不斷電的情況下串接好擴容設備，按照規劃好的容量進行存儲擴容配置。如圖：NetApp存儲擴容前后數據中心的網絡架構無任何改變，我方工程師會根據用戶現有的存儲設備以及用戶的擴容需求進行嚴密的擴容規劃，以及做好擴容前的相關準備工作，以保證用戶擴容現場工作的順利實施。存儲擴容工作需用戶準備足夠的電源接口，我方根據用戶需求配置相應的存儲容量，并根據用戶需求進行編制存儲擴容規劃書，經用戶認可后按照規劃書具體實施存儲擴容工作。存儲擴容工作可根據用戶需求進行在線擴容或離線擴容。本次方案中配置NetAppFAS8060一體化存儲平臺，支持存儲控制器集群升級，最大可擴展控制器數量8個，本次配置控制器緩存128GB，最大可擴展到512GB緩存，支持FlashCache二級緩存可擴展至96TB以上，NetAppFAS8060一體化存儲平臺后端配置磁盤168塊，NetAppFAS8060一體化存儲平臺可擴展磁盤1200塊；NetApp一體化平臺面向私有云架構的優化管理NetApp提供自動化存儲服務定制，支持與客戶數據中心業務流程管理軟件的集成：可利用NetApp管理工具實現存儲服務自動化。也可和第三方管理軟件進行無縫集成，同時NetApp也開放API和SDK，支持用戶自定義云管理平臺。通過定制化的自助服務環境，使內部客戶在幾乎沒有或是根本沒有管理人員介入的情況下請求和獲得適當配置的IT資源，是實現整體業務靈活性和服務快捷性的一個重要步驟。這樣一來，可輕松實現：持續滿足服務級別快速擴展和添加新應用和IT服務以最少的投入滿足不斷變化的業務需求高效利用IT資源，最大限度地提高硬件利用率通過自動執行重復性活動來提高生產率借助集成工具和自動化配置流程來簡化管理MCC架構與VMware虛擬化平臺的結合NetApp一體化平臺與服務器虛擬化的整合NetAppFAS存儲平臺為虛擬化環境進行了專門的優化，以VMware為例，體現在以下幾個方面：統一存儲，支持VMware三種不同的部署協議NetApp的智能二級緩存技術，針對虛擬化環境中常見的I/O熱點數據，提供了實時加速能力,效果明顯優于其他廠家的自動分層技術（有SAN標準性能測試SPC-1報告為證）最緊密的特性和管理集成。VMware和存儲相關的白皮書，包括雙活架構（vSphereMetroStorageCluster），容災（SRM）和存儲集成（VAAI），采用的唯一范例都是NetApp。此外，NetApp還提供了進一步的管理集成：VSC插件允許VMware管理員在權限范圍內自由地調配和管理存儲資源，從而大幅簡化了運維模式針對虛擬化環境下常見的備份難題，NetApp存儲內置的備份功能提供了最好的解決手段。例如成都一個央企（東方電氣），部署了130個虛機，過去采用VAAI+傳統備份軟件備份方式，日備時間為6小時，而采用NetApp方案，僅需12分鐘。降本增效。NetAppFAS內置消重功能，針對VMware環境中，大量冗余的虛機映像，能夠節省90%以上的存儲空間。虛擬化環境中的性能提速技術虛擬化平臺對存儲性能的要求非常苛刻，已成為業界的共識。存儲性能的高低，將決定著應用性能的快慢，也決定著用戶交易的體驗。如何衡量不同存儲性能的高低？業界公認的方法是通過第三方的公開性能測試，如代表FCSAN性能的SPC-1，代表NAS性能的SPECSFS2008。值得指出的是，SPC-1性能結果高低，雖然不能代表真實業務環境的存儲性能，但是至少提供了一個公平公開公正的比較手段。性能測試結果往往以IOPS的形式展現。但必須注意的是，這個數字和用戶購買的存儲的性能IOPS，完全是兩回事。因為用戶購買的存儲，和性能測試的存儲，在配置上差別很大。性能測試往往都采用滿配，以達到最好的結果。但用戶配置，往往受容量需求和經費限制，遠低于測試配置。因此，我們建議用性能效率來進行衡量，即通過測試IOPS/測試配置，來得到單位硬件能夠提供的性能，以比較不同存儲之間的性能差異。在相同配置的情況下，性能效率高的存儲系統，可以提供更高的性能。提升性能效率的方法，在保證性價比的前提下，除了不同的存儲操作系統的算法差異以外，主要有兩種：二級緩存技術，如NetAppFlashCache和FlashPool，EMCFastCache。是以閃存作為存儲的二級緩存。這種技術不做任何數據遷移，因此對于性能提升的反應速度和效果都非常好。自動分層技術，如EMCFast、IBMEasyTier，HDSDynamicTier，需要在不同的性能層之間遷移數據。對性能提升的反應速度較慢。但如果應用的熱點數據分布變化本身較慢，這種技術也有不錯的效果。NetApp采用先進的控制器技術，存儲具有最領先的性能效率。下圖對比了幾種主流的SAN存儲產品，包括IBM最新的DS8870、HP最高端的P10000(即收購自3PAR的產品)、HDS的VSP(HPOEM的型號是p9500，即XP24000的下一代)，而EMC沒有參加SAN性能測試。(數據來源：SPC-1標準FCSAN性能測試。圖中反映的是，在SPC-1測試中，單個磁盤可以提供的IOPS性能。顯然，更好的技術，可以讓同樣的磁盤發揮更好的性能)。這意味著，相同的磁盤配置下，NetApp可以為業務提供更多的IOPS性能。例如，在測試中，NetAppFAS6240僅僅需要432塊普通SAS磁盤，采用RAID6，可獲得25萬SPC-1IOPS，而HDS最高端VSP使用了1152塊SAS盤，采用RAID10，取得26.9萬SPC-1IOPS。試想如果應用容量需求僅僅需要100塊SAS盤，那么NetAppFAS6240仍然可以提供6萬左右的SPC-1IOPS，而VSP卻不到3萬SPC-1IOPS。這里面最關鍵的技術之一就是NetApp領先的虛擬分層和大容量二級緩存技術。其他廠家也具有自動分層，多級緩存技術，但從未經過標準性能測試檢驗。虛擬化環境中的數據保護和災備前文已經提及，VMware雙活架構vSphereMetroStorageCluster支持NetAppMetroCluster，而且其技術白皮書正是以NetAppMetroCluster為范例。此外，在虛擬化環境中的數據保護具有如下特點：NetApp的快照技術可集成于VMware環境中，提供秒級的數據備份和恢復。NetApp可以提供VM中單個文件的恢復NetApp全面支持VMwareSRM容災軟件NetApp專利的快照技術可輕易地集成到VMware環境中，可實現虛擬主機的恢復、完整的虛擬主機克隆，或者站點復制以及冗災等。這種解決方案的優點在于它是存儲界唯一對系統性能沒有負面影響的快照技術。VMware也聲明為了達到最佳的性能和擴展性，建議使用給予硬件的快照解決方案而不是軟件的快照解決方案。在基于磁盤的備份方案中，包含了從生產系統拷貝虛擬磁盤文件到備份的磁盤系統。盡管和直接將生產系統的數據備份到磁帶相比，這種方式提供了非常快速的備份方案，但是每次備份都需要100%的額外空間。某些友商提供了Copy-Out的快照技術，但是Copy-Out快照技術所帶來的性能問題，嚴重地影響了生產，使得這些快照技術也不能被用戶所接受。而NetApp的專利的快照技術完全沒有傳統的基于磁盤備份的固有的問題。而和Copy-Out的快照技術相比，NetApp的快照技術由于不移動數據，從而不會產生對性能的負面影響。同時，NetApp快照技術的開銷只是變化的數據塊，占用空間更少。NetAppFAS和VMware的深度集成NetAppFAS系列存儲和Vmware虛擬化軟件實現了深度的集成，可以最大化提升運行效率，簡化管理。VMwarevCenter通過調用FAS設備插件，可以驅動FAS執行一系列任務。比如備份、災備功能，菜單化部署單元功能。FAS存儲分別通過VMware的四個插件實現不同的功能。以下是詳細的調用關系如下圖所示。VSC存儲管理插件在云計算架構下，管理不再是存儲、服務器、網絡等分離式管理，統一的、集成的管理平臺是云存儲的最佳實踐。vCenter是虛擬化平臺的管理平臺，在vCenter上集中對存儲進行配置、監控等是虛擬化平臺與云存儲結合的一種推薦方式。為此，FAS系統存儲擁有專門的vCenter上的存儲管理插件VirtualStorageConsole（VSC）。它主要有以下功能：虛擬存儲控制臺配置和克隆備份與恢復NFSPlug-in插件ESXServer通過NAS的NFSPlug-in插件，可以將NAS文件系統掛載到ESXServer，作為NFSDataStore。通過NFSPlug-in插件，還可以定義虛擬機IO的優先級，保證關鍵業務的IO的優先級，不受其它業務IO性能影響。SRA插件SRA插件由NetApp提供，部署在SRMServer上，與SRM軟件實現無縫連接。在SRM界面，通過SRA插件可以直接調用的SnapMirror（存儲復制功能）和FlexClone（虛擬克隆工具），實現災備功能和虛擬機克隆功能。VAAI插件VAAI（vStorageAPIsforArrayIntegration）是VMware提供存儲管理接口，主流的NAS和SAN存儲都支持這個接口，并針對VAAI提供專用的插件，部署在vCenterServer。NetApp存儲提供的VAAI插件，可以實現虛擬機和存儲空間的快照和恢復功能、NFSDatastorge參數調整和配置功能。VASA插件VASA的目的是加強存儲資源在VMware的可視化，可以通過vCenter和CapacityIQ工具獲得對物理存儲陣列的一些細節信息，如RAID信息，磁盤數量等等。內置消重功能，降本增效在VMware環境中，非常流行的部署方式是從預先創建的虛機的模板來快速創建新的虛機。一個虛機的模板通常包含了虛機的配置文件(.vmx)以及一個或多個虛擬磁盤文件(.vmdk)，包含了操作系統，公共應用程序，以及補丁文件或系統更新。從模板來創建新的虛機，通過拷貝配置文件以及虛擬磁盤文件，并注冊成為獨立的虛機，大大減少了管理上的時間開銷。但是，在這種方式下，造成了大量的重復數據。下圖說明了在VMware環境下的典型存儲開銷。NetApp提供了一種重復數據刪除的技術，稱為FASDedup。通過FASDedup技術，我們能夠消除在VMware環境中的重復數據，大大提供存儲的總體利用率。FASDedup提供了一種虛擬化的技術，使得多個虛機可以共享在NetApp主存儲上的相同的物理數據塊。FASDedup無縫的集