. XXXX云數據中心技術方案Copyright 2012 杭州華三通信技術有限公司 版權所有，保留一切權利。非經本公司書面許可，任何單位和個人不得擅自摘抄、復制本文檔內容的部分或全部，并不得以任何形式傳播。本文檔中的信息可能變動，恕不另行通知。;.目 錄1 需求分析11.1 現狀分析12 云計算技術的優勢32.1 傳統IT面臨的困境S32.2 云計算概述42.2.1 什么是云計算42.2.2 云計算的特征52.2.3 云計算的價值62.3 H3Cloud云計算解決方案特色72.3.1 H3Cloud云計算解決方案組件82.3.2 H3Cloud云計算解決方案亮點113 整體方案設計153.1 設計原則153.2 建設思路163.3 整體解決方案拓撲173.4 云計算平臺的搭建183.4.1 計算資源池設計183.4.2 基礎網絡平臺設計243.4.3 虛擬機交換網絡303.4.4 安全設計343.4.5 存儲設計383.5 云計算業務部署463.5.1 虛擬機部署463.5.2 虛擬桌面部署503.5.3 HA功能部署523.5.4 動態資源調整533.5.5 虛擬機備份543.5.6 云業務工作流設計553.6 應用系統遷移563.6.1 應用遷移規劃563.6.2 物理機虛擬化遷移(P2V)564 設備配置與選型57;.1 需求分析(具體內容，根據實際項目修改)1.1 現狀分析安慶石化數據中心在基礎設施和應用系統建設方面取得了很大的成績，但是在其建設當中，辦公網和生產網的資源部署方式仍然是按照應用進行物理的劃分，這種部署方式可能存在以下風險和挑戰： 資源利用率低由于應用與資源綁定，每個應用都需要按照其峰值業務量進行資源的配置，這導致在大部分時間許多資源都處于閑置狀態，不僅造成服務器的資源利用率較低，而且對資源的共享、數據的共享造成了天然的障礙。 運維成本高隨著安慶石化企業內部生產網和辦公網業務的增加，服務器、網絡和存儲的設備數量也會出現迅速的膨脹，在傳統的數據中心建設模式下，會造成占地空間、電力供應、散熱制冷和維護成本的急劇上升，為企業長遠的IT投入和運維帶來挑戰。 業務部署緩慢在傳統的模式下，企業的各個部門如果要部署新的業務，那么在提交變更請求與進行運營變更之間存在較大延遲，每一次的業務部署都要經歷硬件選型、采購、上架安裝、操作系統和應用程序安裝以及網絡配置等操作，使得業務的部署極為緩慢。 管理策略分散當前的生產網和辦公網的運維管理缺乏統計的集中化IT構建策略，無法對企業內網的基礎設施進行監控、管理、報告和遠程訪問，IT管理策略分散。安慶石化的云數據中心建設作為企業運行關鍵業務運行平臺和進一步發展的基石，必須擁有更強的IT服務能力，保持高效穩定的運行，數據中心的升級建設勢在必行。另外，隨著安慶石化企業IT建設的迅速開展，云數據中心承載著企業內部的關鍵業務、核心應用，對于信息數據的完整性、業務運行的可靠性、網絡系統的可用性的要求越來越重要。目前IT信息技術已經延伸到企業的各個層面，從企業角度看，云計算有利于整合信息資源，實現信息共享，促進企業信息化的發展。從用戶角度看，利用云計算可以獨立實現或享受某一項具體的業務和服務。因此云計算將在企業的IT政策和戰略中正扮演越來越重要的角色。安慶石化云數據中心的建設，未來的核心業務涵蓋如下范圍： 以“統規、統建、統維”思想為指導，以豐富的云基礎設施，云存儲，云安全和各類云服務共同構建安慶石化云數據中心，服務于各部門的生產網和辦公網。 數據處理：海量數據的處理和分析。 為安慶石化各部門集中提供基礎的信息處理能力，承接企業各部門的應用系統遷移和部署，實現相關云數據中心的資源整合、集中部署與統一管理。項目建設應從安慶石化云數據中心信息化發展方向以及發展現狀出發，加強綜合協調和統籌規劃，借助現代、前沿的信息化技術，形成集成能力強、運作效率高和具有可持續發展能力的云數據中心多業務應用平臺，真正為安慶石化提供找得著、用得好、有保證的信息化服務。具體建設思路如下： 統籌規劃，分步建設 資源共享、協同服務 因地制宜，突出重點 基于云計算，創新服務模式本方案將云數據中心“IT基礎設施”的“按需使用”以及”自動化管理和調度”作為云計算的實踐，形成可落地實施的、可持續發展的云計算平臺，即IaaS云計算平臺。安慶石化云數據中心的建設目標建議如下： 統一管理通過最新的云計算核心技術之一虛擬化技術，整合現有所有應用，整合內容包括WEB、MAIL、FTP、域控管理、OA系統、后臺數據庫等應用，將整個業務系統作統一的規劃和部署，統一數據備份，從而形成自上向下的有效IT管理架構。 強調整體方案的可擴展性、高可用性、易用性和易管理性采用最新的2路多核服務器，保證整個硬件系統的可靠性和可用性，為用戶的應用提供可靠的硬件保障；建設云計算平臺，發揮云計算平臺的優越性，為用戶提供HA功能，保證用戶業務系統的連續性和高可用性，讓用戶的業務實現零宕機風險；提供專業的管理軟件，保證硬件系統和軟件系統的可管理性，為用戶節省管理投資成本。2 云計算技術的優勢2.1 傳統IT面臨的困境自從上世紀90年代開始，IT行業在全球范圍內得到了迅猛的發展，IT平臺的規模和復雜程度出現了大幅度的提升，與此同時，很多企業的IT機構卻因為這種提升而面臨著一種新的困境：高昂的硬件成本和管理運營成本、緩慢的業務部署速度以及缺乏統一管理的基礎架構。圖1 傳統IT面臨的困境 高昂的成本支出隨著IT規模的不斷膨脹，數據中心內的服務器數量、網絡復雜程度以及存儲容量急劇增長，隨之帶來的是高昂的硬件成本支出以及運營成本支出（電力、制冷、占地空間、管理人員等）。 基礎結構成本：托管、冷卻、連接服務器以及為服務器提供電源都會隨著服務器數量的增長而導致成本大量增加。僅服務器電力需求一項就占總成本一大塊，估計數據中心的 1000 臺服務器的電力成本每年都在 45,000 美元以上。 硬件成本：每年服務器在容量和計算能力上都呈增長趨勢。隨著服務器變得越來越強大，最大化的利用這些超強資源也變得愈加困難。IT 組織和應用服務用戶習慣為每個應用服務部署一臺獨立服務器以確保完全控制該應用服務。幾乎在所有情況下，部署這些功能強大的服務器將會使服務器過剩50-500%。 軟件成本：通常服務器需要從操作系統或應用軟件廠商那里獲取許可證與支持。 管理成本：迄今為止，管理成本是服務器成本中最大的一個部分，分析專家估計管理成本占服務器總擁有成本的50-70%。IT技術 人員不得不對軟硬件進行升級、打補丁、備份以及修復，部署新的服務器及應用，維護用戶賬戶并執行許多其他任務。隨著服務器數量的增長，IT 部門發現他們面臨著滿足相關服務器管理需求的挑戰。 緩慢的業務部署速度新的服務器、存儲設備和網絡設備的部署周期較長，整個過程包括硬件選型、采購、上架安裝、操作系統安裝、應用軟件安裝、網絡配置等。一般情況下，這個過程需要的工作量在2040小時，交付周期為46周。 分散的管理策略數據中心內的IT基礎設施處于分散的管理狀態，具體表現為： 機房管理員遵循“根據最壞情況下的工作負載來確定所有服務器的配置”這一策略導致服務器的配置普遍過高。 容易出現大量“只安裝一個應用程序”而未得到充分利用的x86服務器。 提交變更請求與進行運營變更之間存在較長的延遲。 缺少統一的集中化IT構建策略，無法對數據中心內的基礎設施進行監控、管理、報告和遠程訪問。2.2 云計算概述2.2.1 什么是云計算云計算是一種基于網絡的計算服務供給方式，它以跨越異構、動態流轉的資源池為基礎提供給客戶可自治的服務，實現資源的按需分配、按量計費。云計算導致資源規模化、集中化，促進IT產業的進一步分工，讓IT系統的建設和運維統一集中到云計算運營商處，普通用戶都更加關注于自己的業務，從而提高了信息化建設的效率和彈性，促進社會和國家生產生活的集約化水平。云計算主要包含兩個層次的含義：一是從被服務的客戶端看：在云計算環境下，用戶無需自建基礎系統，可以更加專注于自己的業務。用戶可按需獲取網絡上的資源，并按使用量付費。如同打開電燈用電，打開水龍頭用水一樣，而無需考慮是電從哪里來，水是哪家水廠的。二是從云計算后臺看：云計算實現資源的集中化、規模化。能夠實現對各類異構軟硬件基礎資源的兼容，如電網支持水電廠、火電廠、風電廠、核電廠等異構電廠并網；還能夠實現資源的動態流轉，如西電東送，西氣東輸、南水北調等。支持異構資源和實現資源的動態流轉，可以更好的利用資源，降低基礎資源供應商的成本。2.2.2 云計算的特征圖2 云計算的特征 基于網絡云計算是從互聯網演變而來，云計算本質通過網絡將計算力進行集中，并且通過網絡進行服務，如果沒有網絡，計算力集中規模、服務的種類和可獲得性就會受到極大的限制，如集群計算雖然也是基于網絡的計算模式，但是不能提供基于網絡的服務，還不能稱之為云計算。 支持異構基礎資源云計算可以構建在不同的基礎平臺之上，即可以有效兼容各種不同種類的硬件和軟件基礎資源。硬件基礎資源，主要包括網絡環境下的三大類設備，即：計算（服務器）、存儲（存儲設備）和網絡（交換機、路由器等設備）；軟件基礎資源，則包括單機操作系統、中間件、數據庫等。從橫向維度考慮，支持異構資源，意味著在同一時期內，可以采購不同廠商的軟硬件。對云計算平臺的構建者而言，這種形式更為靈活；而從縱向維度考慮，意味著云計算平臺既可以兼容當下采購的新設備，也可以兼容以前的老設備，既可以兼容當前的新軟件系統，也可以兼容以前遺留的老軟件系統。支持異構的基礎資源這一特性，在有效利用老資源的同時，也保證了新老資源的平滑過渡。 支持資源動態擴展支持資源動態伸縮，實現基礎資源的網絡冗余，意味著添加、刪除、修改云計算環境的任一資源節點，亦或任一資源節點異常宕機，都不會導致云環境中的各類業務的中斷，也不會導致用戶數據的丟失。這里的資源節點可以是計算節點、存儲節點和網絡節點。而資源動態流轉，則意味著在云計算平臺下實現資源調度機制，資源可以流轉到需要的地方。如在系統業務整體升高情況下，可以啟動閑置資源，納入系統中，提高整個云平臺的承載能力。而在整個系統業務負載低的情況下，則可以將業務集中起來，而將其他閑置的資源轉入節能模式，從而在提高部分資源利用率的情況下，達到其他資源綠色、低碳的應用效果。 支持異構多業務體系在云計算平臺上，可以同時運行多個不同類型的業務。異構，表示該業務不是同一的，不是已有的或事先定義好的，而應該是用戶可以自己創建并定義的服務。這也是云計算與網格計算的一個重要差異。 支持海量信息處理云計算，在底層，需要面對各類眾多的基礎軟硬件資源；在上層，需要能夠同時支持各類眾多的異構的業務；而具體到某一業務，往往也需要面對大量的用戶。由此，云計算必然需要面對海量信息交互，需要有高效、穩定的海量數據通信/存儲系統作支撐。 按需分配，按量計費按需分配，是云計算平臺支持資源動態流轉的外部特征表現。云計算平臺通過虛擬分拆技術，可以實現計算資源的同構化和可度量化，可以提供小到一臺計算機，多到千臺計算機的計算能力。按量計費起源于效用計算，在云計算平臺實現按需分配后，按量計費也成為云計算平臺向外提供服務時的有效收費形式。2.2.3 云計算的價值云計算是能夠提供動態資源池、虛擬化和高可用性的下一代計算模式。如果把一個計算的資源，比如一臺服務器，看成一個小水滴，當很多資源匯聚在一起的時候，它就形成了計算的云，正如我們不關心水滴是怎么產生的，用戶也不需要關心計算資源位于哪臺物理的服務器上。用戶關心的是需要什么樣的計算能力，需要什么時刻擁有這些計算能力。云計算管理平臺可以為用戶提供“按需計算”服務。 從資源共享方面在整合貴單位信息中心現有軟硬件資源基礎上建設云計算平臺。充分發揮云計算平臺虛擬化計算、按需使用、動態擴展的特性，為貴單位各個部門提供計算、存儲和信息資源服務，實現軟硬件集中部署、統建共用、信息共享，避免重復投資。基于云計算技術建設公共的云服務平臺來運行企業正常運行所需要的業務，可以將企業運維中共性的業務部分進行提煉和歸納，并實現，可以保證共性業務實現的規范性、安全性、全面性和穩定性，也避免了公共功能模塊的多次開發實現所造成的冗余浪費乃至系統不兼容錯誤。更重要的是公共的云服務平臺可以提供一系列支撐服務，業務應用子系統在這些支撐服務的基礎之上進行開發，大大降低了開發難度和成本，使各部門可以更加專注于其本身綜合的、深層次的、相關聯的業務需求，而不是基礎設施的建設，把精力用在企業高效運行和企業創新的關鍵點業務需求上，比傳統的建設模式更好的把握業務需求，將會大大提高企業信息化的建設效益。 從管理工作方面IT部門工作的本質就是服務。如果各部門的業務應用子系統都是按照“云數據中心”的統一標準進行開發實施、注冊部署，可以方便的對企業各類業務工作進行標準化管理，從統一管理的的角度對系統進行規范管理，而不是各掃門前雪，在大大降低管理成本的同時，也大量的節約系統的運行成本。 從技術實現方面基于云計算的企業公共服務平臺可以按照SOA的松耦合方式來建設，模塊間通過標準協議實現相互調用和消息傳遞，這種技術架構較為成熟，具有較好的擴展性，可以確保信息系統技術層面可持續發展，更有助于企業不同服務業務之間的信息共享，提高企業各部門業務之間的協同。 從標準化實現方面基于云計算的企業公共服務平臺可以提供一種標準化的建設模式，可以統一制定共性辦公業務標準、管理工作實現標準、技術安全標準、保密安全標準、軟硬件技術實現標準等，這對云數據中心建設標準的實施和推廣具有重要意義。2.3 H3Cloud云計算解決方案特色H3C公司依托強大的研發實力、廣泛的市場應用和技術理解，以客戶需求為導向，為企業新一代云計算數據中心基礎架構提供一體化的云計算平臺解決方案，幫助用戶實現快速、可靠的虛擬化數據中心和云業務應用部署。H3Cloud云計算解決方案包含統一的計算資源池、統一的網絡資源池、統一的存儲資源池，并提供了一體化的監控和部署工具進行統一的虛擬化與云業務管理，通過簡潔的管理界面，輕松地統一管理數據中心內所有的物理資源和虛擬資源，不僅能提高管理員的管控能力、簡化日常例行工作，更可降低IT環境的復雜度和管理成本。2.3.1 H3Cloud云計算解決方案組件H3Cloud云計算解決方案面向于私有云IaaS（基礎設施即服務），主要包含以下幾個部分： 云計算平臺現有的企業計算環境通常是x86平臺，H3Cloud可以通過服務器的虛擬化進行計算資源的整合與靈活利用，進行服務器計算資源的整合、動態調整、遷移。H3C FlexServer服務器系列定義了下一代2U雙插槽機架式服務器的標準。借助可維護性方面的改進、無與倫比的性能、強大的配置靈活性和受用戶啟發的設計模式，H3C FlexServer所提供的完美解決方案能滿足當今不斷擴展的數據中心所需的動態計算機要求。H3C FlexServer服務器支持iLO管理引擎，這是一套全面的嵌入式管理特性，可支持服務器的完整生命周期（從初始部署到運行管理、再到服務警報和遠程支持）。 云存儲平臺實現IaaS的一個重要組成部分是云存儲，一個云計算的基礎設施要服務于很多個不同的業務系統或者應用，每個業務系統或應用都會有不同的存儲需求，H3Cloud可以通過存儲虛擬化管理，進行存儲需求的整合，靈活的容量控制。H3Cloud云計算解決方案中的存儲組件提供了經濟實惠的企業功能，并具有全面的功能集，簡化了對所有位置的集中管理，是具有各種虛擬服務器、客戶端虛擬化、數據庫、電子郵件和業務應用程序的環境的理想選擇。存儲組件中集成了各種出色的應用程序可用性和災難恢復功能，在任何情況下都可進行自動故障轉移/故障恢復， 并針對虛擬化環境進行了優化，并為用戶和應用程序提供了即時滿足需求的連續數據可用性。 虛擬化網絡基礎平臺隨著云計算環境下虛擬化技術的大規模部署，傳統的網絡架構將面臨著很多新的挑戰，包括規格與性能、虛擬機接入與控制、大二層網絡部署、流量突發與擁塞等等，如下圖所示： H3C虛擬網絡方案通過數據中心級設備、網絡虛擬化及虛擬機網絡接入新標準（EVB）等產品與技術的創新，可以實現網絡基礎平臺對云計算虛擬化環境的良好支撐，同時大大簡化網絡的運維管理。 CAS云計算管理平臺服務器虛擬化、存儲虛擬化和網絡虛擬化只是構成云計算基礎設施的硬件資源池，在云計算環境中，最重要的一點是實現資源池的自動化，避免人力對于基礎設施的過多干預。H3C CAS（Cloud Automation System）通過自動化的管理平臺和手段，幫助用戶實現對云硬件資源和業務流程的快速部署與自動化維護和管理。H3C CAS云計算管理平臺由三個組件構成： CVK：Cloud Virtualization Kernel，虛擬化內核平臺運行在基礎設施層和上層客戶操作系統之間的虛擬化內核軟件。針對上層客戶操作系統對底層硬件資源的訪問，CVK用于屏蔽底層異構硬件之間的差異性，消除上層客戶操作系統對硬件設備以及驅動的依賴，同時增強了虛擬化運行環境中的硬件兼容性、高可靠性、高可用性、可擴展性、性能優化等功能。 CVM：Cloud Virtualization Manager，虛擬化管理系統主要實現對數據中心內的計算、網絡和存儲等硬件資源的軟件虛擬化管理，對上層應用提供自動化服務。其業務范圍包括：虛擬計算、虛擬網絡、虛擬存儲、高可用性（HA）、動態資源調度（DRS）、虛擬機容災與備份、虛擬機模板管理、集群文件系統、虛擬交換機策略等。 CIC：Cloud Intelligence Center，云業務管理中心由一系列云基礎業務模塊組成，通過將基礎架構資源（包括計算、存儲和網絡）及其相關策略整合成虛擬數據中心資源池，并允許用戶按需消費這些資源，從而構建安全的多租戶混合云。其業務范圍包括：組織（虛擬數據中心）、多租戶數據和業務安全、云業務工作流、自助式服務門戶、兼容OpenStack的REST API接口等。從邏輯架構上，H3C CAS云計算管理平臺包括虛擬化層、自動化服務層、管理層、業務編排層、API層： 虛擬化層利用CVK提供的底層虛擬化能力和上層CVM提供的管理能力，屏蔽底層物理硬件基礎設施的異構性和復雜度，對外以虛擬資源池的形式呈現。 自動化服務層強調業務運行的高可用性和可擴展性，并未業務提供自動的容災備份與資源調度能力。 管理層對虛擬化資源及云運營要素進行管理，如虛擬機生命周期的管理、虛擬機鏡像文件和配置文件的管理、多租戶的安全隔離、網絡策略配置的管理等。 業務編排層對云計算資源進行可運營性管理，包括對虛擬資源池的編排、最終用戶的自助服務門戶、業務的申請、審批與開通、用戶帳務的管理與報表輸出等。 API層為第三方云運營管理平臺提供RESTful的API接口。2.3.2 H3Cloud云計算解決方案亮點1. 直觀的配置與管理 完全基于B/S架構的管理控制臺，不僅讓數據中心輕松組織和快速部署整個IT環境，而且還能對包括CPU、內存、磁盤I/O、網絡I/O等重要資源在內的關鍵元件進行全面的性能監測，為管理員實施合理的資源規劃提供詳盡的數據資料。2. 智能化的資源自動優化配置 H3Cloud云計算軟件為虛擬機中運行的應用程序提供簡單易用、成本效益高的高可用性功能。硬件故障導致的服務器或虛擬機宕機再也不會造成災難性的后果，H3Cloud提供的資源智能調度能力會為這些服務器或虛擬機自動選擇最佳的重新運行位置。3. 支持IEEE 802.1Qbg標準草案 支持IEEE 802.1Qbg（VEPA）協議標準草案，與H3C S5820V2/S5830V2交換機及iMC VCM網管組件配合，能夠實現對虛擬機流量的全面監控。4. 快速業務部署能力 支持虛擬機的快速克隆功能，所有鏈接到主鏡像文件的虛擬桌面都可以通過更新主鏡像文件來修補或更新，而不會影響用戶的設置、數據或應用程序，大幅簡化了桌面的管理，同時極大地減少存儲空間的浪費和縮短了部署虛擬桌面的時間。 支持虛擬機系統的增量備份功能，僅備份上一次完全/增量備份后發生變化的文件，極大地減少了每次備份文件的數量和備份的時間，提高了備份效率。5. 自助式云業務電子流自助式服務管理為用戶提供了一個安全的、多租戶的、可自助服務的IaaS，是一種全新的基礎架構交付和使用模式。通過H3Cloud云計算軟件提供的虛擬化資源池功能，使IT部門能夠將計算、存儲和網絡等物理資源抽象成按需提供的彈性虛擬資源池，以消費單元（即組織或虛擬數據中心）的形式對外提供服務，IT部門能夠通過完全自動化的自助服務訪問，為用戶提供這些消費單元以及其它包括虛擬機和操作系統鏡像等在內的基礎架構和應用服務模板。這種自助式的服務真正實現了云計算的敏捷性、可控性和高效性，并極大程度地提高了業務的響應能力。6. 多租戶業務安全 通過用戶數據安全隔離與網絡安全策略模板，確保虛擬化、多租戶環境下的用戶隱私信息及數據的安全。 虛擬化資源位置信息的唯一標識，避免了虛擬化技術引起的物理邊界模糊可能導致的司法取證問題。 通過用戶權限的精細化控制、管理帳號的分級管理以及詳細的操作訪問日志，避免權限濫用問題。7. 為高性能、高效率和輕松訪問而構建的云計算服務器 符合能源之星標準的H3C FlexServer服務器配置充分體現了H3C一貫的幫助客戶節省能源、降低成本的宗旨。 借助通用免工具的新型滑軌，可以快速安裝H3C FlexServer，快速釋放桿可實現快速服務器訪問。非常靈巧的電纜管理支架選項，可實現靈活布線和出色的布線管理，讓您可以快速訪問該服務器。 率先推出的3D陣列溫度傳感器可精確控制服務器風扇直接散熱，從而避免了不必要的風扇功耗。8. 存儲組件確保出色的應用可用性和災難恢復能力 H3Cloud云計算解決方案中的存儲組件可跨存儲節點集群分割和保護多份數據副本，并消除SAN中的單點故障。 應用程序在發生電源、網絡、磁盤、控制器、存儲節點或站點故障的情況下，具有連續的數據可用性。 H3Cloud云計算解決方案中的存儲組件高可用性架構的優點是，一個單一的存儲集群可托管不同網絡RAID級別的卷，每個卷的可用性和/或性能水平依應用的需求而異。 H3Cloud云計算解決方案中的存儲組件具備集成復制功能，通過自動化和透明的故障轉移與故障恢復簡化管理。 如果有一個存儲節點脫機，它就會從脫機時間開始跟蹤數據變化；當節點重新聯機時，變更的數據塊就會恢復到當前水平。9. 經濟實惠的企業級存儲功能和全面的特性集 橫向擴展存儲集群允許將多個存儲節點整合到共享存儲池中。 匯聚所有可用的容量和性能，用于集群中的每個卷。 隨著存儲需求的增長，存儲組件可在線橫向擴展性能和容量。 網絡RAID可跨存儲節點集群分割和保護多份數據副本，從而消除存儲組件中的任何單點故障。 應用程序在發生電源、網絡、磁盤、控制器、存儲節點或站點故障的情況下，具有連續的數據可用性。 多站點SAN可用性使存儲組件能夠將集群中的存儲節點分配到不同的地點（機架、機房、建筑和城市），并提供無縫的應用高可用性，跨不同地點自動實現故障轉移/故障恢復。 無須預留快照，實現精簡配置，只分配寫入數據所需的空間，無需預分配存儲容量，從而提高存儲組件的整體利用率和效率。3 整體方案設計3.1 設計原則 兼容與互通當前階段云計算整個產業化還不夠成熟，相關標準還不完善。為保證多廠商的良好兼容性，避免廠商技術鎖定，方案的設計充分保證與第三方廠商設備保持良好的對接。此外，為保證方案的前瞻性，設備的選型應充分考慮對已有的云計算相關標準（如EVB/802.1Qbg等）的擴展支持能力，保證良好的先進性，以適應未來的技術發展。 業務高可用云計算平臺作為承載未來企業應用的重要IT基礎設施，承擔著穩定運行和業務創新的重任。伴隨著數據與業務的集中，云計算平臺的建設及運維給信息部門帶來了巨大的壓力，因此平臺的建設從基礎資源池（計算、存儲、網絡）、虛擬化平臺、云平臺等多個層面充分考慮業務的高可用，基礎單元出現故障后業務應用能夠迅速進行切換與遷移，用戶無感知，保證業務的連續性。 統一管理與自動化云計算的最終目標是要實現系統的按需運營，多種服務的開通，而這依賴于對計算、存儲、網絡資源的調度和分配，同時提供用戶管理、組織管理、工作流管理、自助Portal界面等。從用戶資源的申請、審批到分配部署的智能化。管理系統不僅要實現對傳統的物理資源和新的虛擬資源進行管理，還要從全局而非割裂地管理資源，因此統一管理與自動化將成為必然趨勢。 開放接口傳統的管理系統與上層系統對接，注重故障的上報和信息的查詢。而云計算的管理系統更關注如何實現自動化的部署，在接口方面更關注資源調度和分配，這就需要管理系統在業務調度方面實現開放。為保證服務器、存儲、網絡等資源能夠被云計算運營平臺良好的調度與管理，要求系統提供開放的API接口，云計算運營管理平臺能夠通過API接口、命令行腳本實現對設備的配置與策略下發聯動。同時云平臺也提供開放的API接口，未來可以在這些接口的基礎上進行二次定制開放，實現面向云計算的數據中心管理平臺。3.2 建設思路 初期小規模試點，逐步遷移考慮到企業內部應用的重要性，以及各部門數據交互的復雜性，本次云計算項目建設的初期重在搭建基礎平臺，業務應用只針對安慶石化辦公網內的部分應用，后續會逐步完成整合與業務的遷移。基礎云平臺的搭建中，網絡作為最基礎的支撐，對后續業務的擴展與整合影響最大，而且對網絡核心的改造將會影響到整個數據中心的業務運行。因此本次建設需要明確網絡整體架構，同時確定核心設備的選型，避免后續業務遷移和擴容時更換核心設備，將遷移和擴容的工作量及風險降到最低。對于云平臺中的服務器、存儲資源池構建，本次方案采用最小建設的思路，即滿足35個業務應用的最小配置要求來選擇設備，重點傾向于虛擬化平臺、云平臺的建設。后續逐步通過現有服務器上業務應用的P2V遷移，對現有服務器進行利舊與整合，逐步將現有服務器、存儲設備整合到資源池中，保證最佳的TCO（總體擁有成本）。 以基礎設施即服務（IaaS）為基礎，逐步完善PaaS和SaaS 建設云計算IaaS，通常是基于虛擬化技術（特別是硬件級虛擬化技術）實現了物理資源和應用系統的松耦合，從而體現物理資源池的理念。然而基于虛擬化技術僅僅是形成一個資源池，為了給上層應用系統提供彈性的按需分配的物理資源，對于這個資源池我們仍需要進行統一的調度與管理，從而為這個資源池賦予更多的智能以滿足業務的需求。近兩年來，IaaS一直國內云計算服務發展的基礎，該服務模式與上層應用耦合度最低，部署相對自由、靈活，相應的解決方案產品比較成熟，無需針對業務進行復雜的二次定制開發，部署和運維成本都較低，而且IaaS的部署對最終用戶來說是透明的，不改變最終用戶的使用習慣。本次方案的建設中，考慮到安慶石化云數據中心建設的實際情況，我們建議初期以提供IaaS服務為基礎，包括虛擬主機、虛擬存儲、虛擬桌面等服務，保證對現有應用系統和用戶影響最低的前提下，逐步完成向應用向云中的遷移。對于PaaS和SaaS的建設，待IaaS平臺日益完善，數據格式、中間件、數據庫形成標準、統一之后再逐步進行建設。3.3 整體解決方案拓撲根據本期工程的需求和建設目標云計算平臺總體邏輯拓撲結構如上圖所示。整個平臺由網絡資源池、計算資源池、存儲資源池、管理中心以及利舊服務器區五部分組成。 網絡資源池（根據實際配置撰寫）采用業界主流的“核心+接入”扁平化組網，核心交換機采用2臺H3C S12508設備，部署IRF2虛擬化技術，并在機框內部署負載均衡（LB）和防火墻（FW）插卡，實現業務的流量監控和負載均衡；計算資源池的接入交換機采用2臺H3C S5830V2設備，部署IRF2虛擬化技術；利舊服務器區采用2臺S5120設備，部署IRF2虛擬化技術；H3C管理產品通過S5120設備管理各類網絡資源以及計算資源池。 計算資源池（根據實際配置撰寫）采用H3Cloud云計算操作系統軟件，將多臺H3C FlexServer R390機架服務器組建HA集群，在虛擬機上部署企業業務應用，并配合HA和動態負載均衡等高級功能，實現業務的連續性，減少計劃內宕機時間，提高資源利用率。 存儲資源池根據實際需求采用多臺H3C FlexStorage P4500 iSCSI存儲陣列，統一存放虛擬機鏡像文件和業務系統數據，這樣做不會在運行虛擬機的云計算計算節點主機上引起任何額外的負載。 管理中心采用2臺H3C FlexServer R390機架服務器，分別部署H3C iMC DCM數據中心管理套件和H3Cloud軟件套件（含CVK、CVM和CIC），實現對云計算資源池的統一管理及調度。3.4 云計算平臺的搭建3.4.1 計算資源池設計服務器是云計算平臺的核心，其承擔著云計算平臺的“計算”功能。對于云計算平臺上的服務器，通常都是將相同或者相似類型的服務器組合在一起，作為資源分配的母體，即所謂的服務器資源池。在這個服務器資源池上，再通過安裝虛擬化軟件，使得其計算資源能以一種虛擬服務器的方式被不同的應用使用。這里所提到的虛擬服務器，是一種邏輯概念。對不同處理器架構的服務器以及不同的虛擬化平臺軟件，其實現的具體方式不同。在x86系列的芯片上，其主要是以常規意義上的VMware虛擬機或者H3Cloud虛擬機的形式存在。1. 資源池分類設計在搭建服務器資源池之前，首先應該確定資源池的數量和種類，并對服務器進行歸類。歸類的標準通常是根據服務器的CPU類型、型號、配置、物理位置來決定。對云計算平臺而言，屬于同一個資源池的服務器，通常就會將其視為一組可互相替代的資源。所以，一般都是將相同處理器、相近型號系列并且配置與物理位置接近的服務器比如相近型號、物理距離不遠的機架式服務器或者刀片服務器。在做資源池規劃的時候，也需要考慮其規模和功用。如果單個資源池的規模越大，可以給云計算平臺提供更大的靈活性和容錯性：更多的應用可以部署在上面，并且單個物理服務器的宕機對整個資源池的影響會更小些。但是同時，太大的規模也會給出口網絡吞吐帶來更大的壓力，各個不同應用之間的干擾也會更大。如果有條件的話，通常推薦先審視一下企業自身的業務應用。可以考慮將應用分級，將某些級別高的應用盡可能地放在某些獨立而規模較小的資源池內，輔以較高級別的存儲設備，并配備高級別的運維值守。而那些級別比較低的應用，則可以被放在那些規模較大的公用資源池（群）中。初期的資源池規劃應該涵蓋所有可能被納管到云計算平臺的所有服務器資源，包括那些為搭建云計算平臺新購置的服務器、企業內部那些目前閑置著的服務器以及那些現有的并正在運行著業務應用的服務器。在云計算平臺搭建的初期，那些目前正在為業務系統服務的服務器并不會直接被納入云計算平臺的管轄。但是隨著云計算平臺的上線和業務系統的逐漸遷移，這些服務器也將逐漸地被并入云計算平臺的資源池中。對于x86系列的服務器，除了用于生產系統的資源池以外，還需要專門搭建一個測試用資源池，以便云計算平臺項目實施過程以及平臺上線以后運維過程中使用。在云計算平臺搭建完畢以后，企業的服務器資源池可以如下圖所示：在云計算平臺上線以后，原有非云計算平臺上的應用會逐步向云計算平臺遷移，空出的服務器資源池也會逐漸并入云計算平臺的資源池中。其狀態可以用下圖所示：CVM虛擬化管理平臺體系將IT數據中心的物理服務器資源以樹形結構進行組織管理，統一稱之為云資源。云資源是H3Cloud云計算軟件分層管理模型的核心節點之一，用來統一管理數據中心內所有的、復雜的硬件基礎設施，不僅包括基本的IT基礎設施（如硬件服務器系統），還包括其它與之配套的設備（如網絡和存儲系統）。默認情況下，H3Cloud云計算管理平臺出廠配置中已經添加了一個名為“云資源”的根節點，準備使用H3Cloud云計算軟件進行管理的所有物理資源都需要手工逐一添加到該節點下進行統一的管理。云資源中的被管理對象之間的關系可以用下圖描述：2. 主機池設計在H3Cloud云計算軟件體系架構中，主機池是一系列主機和集群的集合體，主機有可能已加入到集群中，也可能沒有。沒有加入集群的主機全部在主機池中進行管理。在H3Cloud云計算管理平臺主界面導航菜單窗口中點擊“云資源”，在快捷工具欄中選擇按鈕。或者右鍵單擊“云資源”，在彈出的上下文菜單中選擇子菜單。在彈出的增加主機池對話框中，輸入主機池名稱后，單擊按鈕完成主機池的添加。3. 集群設計集群是H3Cloud云計算軟件中的一個新概念，其目的是使用戶可以像管理單個實體一樣輕松地管理多個主機和虛擬機，從而降低管理的復雜度，同時，通過定時對集群內的主機和虛擬機狀態進行監測，如果一臺服務器主機出現故障，運行于這臺主機上的所有虛擬機都可以在集群中的其它主機上重新啟動，保證了數據中心業務的連續性。在H3Cloud云計算管理平臺主界面導航菜單窗口中點擊需要增加集群的主機池，在快捷工具欄中選擇按鈕。或者右鍵單擊需要增加集群的主機池，在彈出的上下文菜單中選擇子菜單。在H3Cloud云計算管理平臺中，向主機池中增加集群操作以向導的方式一步一步完成。4. 主機設計集群創建成功之后，沒有任何主機或虛擬機包含于其中，為了基于將主機和虛擬機基于集群進行管理，首先需要將主機添加到集群。在H3Cloud云計算管理平臺主界面導航菜單窗口中點擊需要增加主機的集群，在快捷工具欄中選擇按鈕。或者右鍵單擊需要增加主機的集群，在彈出的上下文菜單中選擇子菜單。在彈出的增加主機對話框中，輸入需要被添加到集群的主機的IP地址、通過SSH協議訪問主機的用戶帳號及密碼后，單擊按鈕完成主機池的添加。5. 虛擬機設計虛擬機與物理服務器類似，它們主要的區別在于虛擬機并不是由電子元器件件組成的，而是由一組文件構成的。每臺虛擬機都是一個完整的系統，它具有CPU、內存、網絡設備、存儲設備和 BIOS，因此操作系統和應用程序在虛擬機中的運行方式與它們在物理服務器上的運行方式沒有任何區別。與物理服務器相比，虛擬機具有如下優勢： 在標準的 x86 物理服務器上運行。 可訪問物理服務器的所有資源（如 CPU、內存、磁盤、網絡設備和外圍設備），任何應用程序都可以在虛擬機中運行。 默認情況，虛擬機之間完全隔離，從而實現安全的數據處理、網絡連接和數據存儲。 可與其它虛擬機共存于同一臺物理服務器，從而達到充分利用硬件資源的目的。 虛擬機鏡像文件與應用程序都封裝于文件之中，通過簡單的文件復制便可實現虛擬機的部署、備份以及還原。 具有可移動的靈巧特點，可以便捷地將整個虛擬機系統（包括虛擬硬件、操作系統和配置好的應用程序）在不同的物理服務器之間進行遷移，甚至還可以在虛擬機正在運行的情況下進行遷移。 可將分布式資源管理與高可用性結合到一起，從而為應用程序提供比靜態物理基礎架構更高的服務優先級別。 可作為即插即用的虛擬工具（包含整套虛擬硬件、操作系統和配置好的應用程序）進行構建和分發，從而實現快速部署。在H3Cloud云計算管理平臺主界面導航菜單窗口中點擊需要增加虛擬機的主機，在快捷工具欄中選擇按鈕。或者右鍵單擊需要增加虛擬機的主機，在彈出的上下文菜單中選擇子菜單。在H3Cloud云計算管理平臺中，增加虛擬機的操作以向導的方式一步一步完成。3.4.2 基礎網絡平臺設計2.1.21. 網絡設計要點云計算數據中心基礎網絡是云業務數據的傳輸通道，將數據的計算和數據存儲有機的結合在一起。為保證云業務的高可用、易擴展、易管理，云計算數據中心網絡架構設計關注重點如下： 高可用性網絡的高可用是業務高可用的基本保證，在網絡整體設計和設備配置上均是按照雙備份要求設計的。在網絡連接上消除單點故障，提供關鍵設備的故障切換。關鍵網絡設備之間的物理鏈路采用雙路冗余連接，按照負載均衡方式或active-active方式工作。關鍵主機可采用雙路網卡來增加可靠性。全冗余的方式使系統達到99.999%的電信級可靠性。基礎網絡從核心層到接入層均部署H3C的IRF2技術，可以實現數據中心級交換機的虛擬化，不僅網絡容量可以平滑擴展，更可以簡化網絡拓撲結構，大大提高整網的可靠性，使得整網的保護倒換時間從原來的510秒縮短到50ms以內，達到電信級的可靠性要求。作為未來網絡的核心，要求核心交換區設備具有高可靠性，優先選用采用交換引擎與路由引擎物理分離設計的設備，從而在硬件的體系結構上達到數據中心級的高可靠性。本次項目核心設備采用H3C S12500數據中心級核心交換機、接入設備采用H3C S5830V2數據中心級接入交換機，設備組件層面充分保證高可靠。如下圖所示： 大二層網絡部署云計算數據中心內服務器虛擬化已是一種趨勢，而虛擬機的遷移則是一種必然，目前業內的幾種虛擬化軟件要做到熱遷移時都是均需要二層網絡的支撐，隨著未來計算資源池的不斷擴展，二層網絡的范圍也將同步擴大，甚至需要跨數據中心部署大二層網絡。大規模部暑二層網絡則帶來一個必然的問題就是二層環路問題，而傳統解決二層網絡環路問題的STP協議無法滿足云計算數據中心所要求的快收斂，同時會帶來協議部署及運維管理的復雜度增加。本次方案中通過部署H3C IRF2虛擬化技術實現兩臺或多臺同一層物理交換機虛擬成一臺邏輯設備，通過跨設備鏈路捆綁實現核心和接入的點對點互聯，消除二層網絡的環路，這樣就直接避免了在網絡中部暑STP，同時對于核心的兩臺設備虛擬化為一臺邏輯設備之后，網關也將變成一個，無需部署傳統的VRRP協議。 在管理層面，通IRF2多虛一之后，管理的設備數量減少一半以上，對于本項目，管理點只有核心和接入兩臺設備，網絡管理大幅度簡化。如下圖所示： 網絡安全融合云計算將所有資源進行虛擬化，從物理上存在多個用戶訪問同一個物理資源的問題，那么如何保證用戶訪問以及后臺物理資源的安全隔離就成為了一個必須考慮的問題。另一方面由于網絡變成了一個大的二層網絡；以前的各個業務系統分而治之，各個業務系統都是在硬件方面進行了隔離，在每個系統之間做安全的防護可以保證安全的訪問。所以在云計算環境下，所有的業務和用戶的資源在物理上是融合的，這樣就需要通過在網關層部署防火墻的設備，同時開啟虛擬防火墻的功能，為每個業務進行安全的隔離和策略的部署。在傳統的數據中心網絡安全部署時，往往是網絡與安全各自為戰，在網絡邊界或關鍵節點串接安全設備(如FW、IPS、LB等)。隨著數據中心部署的安全設備的種類和數量也越來越多，這將導致數據中心機房布線、空間、能耗、運維管理等成本越來越高。本次方案中采用了H3C SecBlade安全插卡可直接插在H3C交換機的業務槽位，通過交換機背板互連實現流量轉發，共用交換機電源、風扇等基礎部件。融合部署除了簡化機房布線、節省機架空間、簡化管理之外，還具備以下優點： 互連帶寬高。SecBlade系列安全插卡采用背板總線與交換機進行互連，背板總線帶寬一般可超過40Gbps，相比傳統的獨立安全設備采用普通千兆以太網接口進行互連，在互連帶寬上有了很大的提升，而且無需增加布線、光纖和光模塊成本。 業務接口靈活。SecBlade系列安全插卡上不對外提供業務接口（僅提供配置管理接口），當交換機上插有SecBlade安全插卡時，交換機上原有的所有業務接口均可配置為安全業務接口。此時再也無需擔心安全業務接口不夠而帶來網絡安全部署的局限性。 性能平滑擴展。當一臺交換機上的一塊SecBlade安全插卡的性能不夠時，可以再插入一塊或多塊SecBlade插卡實現性能的平滑疊加。而且所有SecBlade插卡均支持熱插拔，在進行擴展時無需停機中斷現有的業務。2. 基礎網絡整體設計本次項目基礎網絡采用“扁平化”設計，核心層直接下聯接入層，省去了中間匯聚層。隨著網絡交換技術的不斷發展，交換機的端口接入密度也越來越高，“扁平化”組網的擴展性和密度已經能夠很好的滿足安慶石化云數據中心服務器接入的要求。同時在服務器虛擬化技術應用越來越廣泛的趨勢下，扁平化二層架構更容易實現VLAN的大二層互通，滿足虛擬機的部署和遷移。相比傳統三層架構，扁平化二層架構可以大大簡化網絡的運維與管理。基礎網絡平臺組織結構如下圖所示： 網絡的二、三層邊界在核心層，安全部署在核心層； 核心與接入層之間采用二層進行互聯，實現大二層組網，在接入層構建計算和存儲資源池，滿足資源池內虛擬機可在任意位置的物理服務器上遷移與集群。實際組網拓撲如下圖所示：（本部分根據項目實際情況） 采用2臺S12508構建核心層，分別通過10GE鏈路與接入層、管理網交換機、出口路由器互連，未來此核心層將逐步演變成整網大核心，兩臺核心交換機部署IRF虛擬化。 接入層采用2臺S5830V2-24S，每臺接入交換機與核心交換機采用10GE鏈路交叉互連，兩臺接入交換機部署IRF虛擬化，與核心交換機實現跨設備鏈路捆綁，消除二層環路，并實現鏈路負載分擔。 利舊服務器區接入層采用2臺S5120-52C-EI，每臺接入交換機與核心交換機采用10GE鏈路交叉互連，兩臺接入交換機部署IRF虛擬化，與核心交換機實現跨設備鏈路捆綁，消除二層環路，并實現鏈路負載分擔。同時分別連接H3C FlexServer R390服務器的iLO接口實現服務器的帶外管理，并與iMC網管服務器、云平臺管理服務器互連。分層分區設計思路：根據業務進行分區，分成計算區、存儲區和管理區。計算、