第9章云計算數據中心9.1云數據中心的特征9.2云數據中心網絡部署9.3綠色節能技術9.4自動化管理of3119.5容災備份高級人工智能人才培養叢書習題9.1云數據中心的特征第9章云計算數據中心of312Facebook、谷歌、亞馬遜等在多地建立了自己的大規模數據中心9.1云數據中心的特征of313高設備利用率綠色節能高可用性自動化管理1234采用虛擬化和容器化技術進行系統和數據中心整合，優化資源利用率；通過先進的供電和散熱技術，降低數據中心的能耗；系統中各部分的冗余、容錯以至容災設計，保證應用服務的不間斷性；7×24小時無人值守并可通過Internet實現可視化遠程管理。云數據中心將云計算與數據中心有效結合實現優勢互補，具備以下幾個特征：第9章云計算數據中心第9章云計算數據中心9.2云數據中心網絡部署9.1云數據中心的特征9.3綠色節能技術9.4自動化管理of3149.5容災備份高級人工智能人才培養叢書習題9.2云數據中心網絡部署of315數據中心網絡數據中心內部通過高速鏈路和交換機連接大量服務器構成網絡拓撲規模帶寬容錯性擴展性布線

復雜性成本兼容性配置開銷流量隔離靈活性FatTree中中中中較高較高高較高無低VL2大大中中較高較高中較高無中OSA小大差中較低較高低中無高WDCN小大較好中較低中中中無高DCell大較大較好較好高較高中較高無較高FiConn大較大較好較好較高中中較高無較高BCube小大好較好高較高中較高無較高MDCube大大較好較好高高中較高無較高第9章云計算數據中心9.2云數據中心網絡部署of316FatTree網絡拓撲結構采用三層級聯的交換機拓撲結構，有k個Pod，每個Pod中包含k個交換機，其中k/2個是接入交換機，k/2個是匯聚交換機。每個接入交換機有k個端口，其中k/2個連接到主機端，k/2個連接到匯聚交換機。同樣每個匯聚交換機的k/2個端口連接到接入交換機，另外k/2個連接到核心交換機。第9章云計算數據中心9.2.1改進型樹結構9.2云數據中心網絡部署of317FatTree網絡拓撲結構與傳統層次結構相比，FatTree結構有如下特點：消除了樹形結構上層鏈路對吞吐量的限制為內部節點間通信提供多條并行鏈路橫向擴展的嘗試降低了構建數據中心網絡的成本與現有數據中心網絡使用的以太網結構和IP配置的服務器兼容FatTree的擴展性受限于核心交換機端口數量，目前比較常用的是48端口10G核心交換機，在3層樹結構中能夠支持27648臺主機。第9章云計算數據中心9.2.1改進型樹結構9.2云數據中心網絡部署of318VL2架構VL2的核心思想是使用CLOS拓撲結構建立扁平的第二層網絡。VL2仍然采用三層拓撲結構進行交換機級聯。但不同的是，VL2中的各級交換機之間都采用10Gbps端口以減小布線開銷。VL2依賴于中心化的基礎設施來實現2層語義和資源整合，面臨單點失效和擴展性問題。具有以下特點：第9章云計算數據中心9.2.1改進型樹結構扁平尋址，這可以允許服務實例被放置到網絡覆蓋的任何地方；負載均衡將流量統一的分配到網絡路徑；終端系統的地址解析拓展到巨大的服務器池，并不需要將網絡復雜度傳遞給網絡控制平臺。9.2云數據中心網絡部署of319遞歸層次結構：主要是設計好最小遞歸單元的結構和確定好遞歸規律DCell拓撲結構低層網絡是基本的構建單元，n個服務器連接一個具有n個端口的交換機第9章云計算數據中心9.2.2遞歸層次結構構建高層次網絡時，需要的低層網絡的個數等于每個低層網絡中的服務器個數加1DCell拓撲的優勢是網絡可擴展性好，但其拓撲的層數受限于服務器的端口數。9.2云數據中心網絡部署of3110FiConn拓撲結構低層網絡是基本的構建單元，n個服務器連接一個具有n個端口的交換機與DCell類似，如果將FiConn看成一個虛擬服務器，那么高層次的FiConn網絡是由若干個低層次的FiConn網絡構成的一個完全圖。第9章云計算數據中心9.2.2遞歸層次結構優點：不需要對服務器和交換機的硬件做任何修改缺點：每個FiConn對外連接的鏈路仍然有限，FiConn的容錯性較弱，且其路徑長度較大，路由效率不高9.2云數據中心網絡部署of3111BCube拓撲結構BCube主要為集裝箱規模的數據中心設計第9章云計算數據中心9.2.2遞歸層次結構第0層就是將n個服務器連接到一個n端口的交換機；BCubek由n個BCubek?1和nk個n端口交換機組成；優勢：鏈路資源非常豐富，提供了負載均衡；不足：探測過程會造成較大的通信和計算開銷。9.2云數據中心網絡部署of3112Helios拓撲結構混合電/光結構網絡，兩層的多根樹結構，適用于集裝箱數據中心將所有的服務器劃分為若干集群，每個集群中的服務器連接到接入交換機，每個接入交換機與一個2層或3層電交換網絡和一個光網絡連接。第9章云計算數據中心9.2.3光交換網絡該拓撲保證了服務器之間的通信可使用分組鏈路，也可使用光纖鏈路。9.2云數據中心網絡部署of3113OSA體系結構OSA(OpticalSwitchingArchitecture)是基于光交換的數據中心網絡體系結構；主要引入光交換矩陣和波長選擇交換機作為技術基礎，光交換模塊是雙向N×N矩陣，任意輸入端口可以連接到任意的輸出端口，波長選擇交換機WSS是一個1×N交換機，由一個通用和N個波長端口組成第9章云計算數據中心9.2.3光交換網絡優點：光交換具有潛在的更高的傳輸速率、更靈活的拓撲結構，并且其制冷成本更低；不足：面向連接的網絡，將不可避免引入時延。9.2云數據中心網絡部署of3114WDCN體系結構2009年美國微軟的Kandula指出可以增加新的“飛路”（Flyways）來緩解部分熱節點的擁塞狀況，2011年Cui等人提出了一個異構的以太網/無線體系結構WDCN；第9章云計算數據中心9.2.4無線數據中心網絡優點：可靈活調整網絡拓撲，不必進行重新布線；不足：傳輸距離是有限的，限制大規模數據中心部署。9.2云數據中心網絡部署of3115SDN架構SDN是一種新型的網絡技術，它將網絡的控制平面與數據轉發平面進行分離，數據流的接入、路由等都由一個集中控制器來控制，而交換機只是按控制器所設定的規則進行數據分組的轉發第9章云計算數據中心9.2.5軟件定義網絡SDN架構主要分為基礎設施層、控制層和應用層：基礎設施層由經過資源抽象的網絡設備組成；控制層是整個SDN架構的核心,負責網絡的控制和管理；應用層包含組織使用的典型網絡應用或功能。9.2云數據中心網絡部署of3116OpenFlowOpenFlow是第一個針對SDN實現的標準接口，包括數據層與控制層之間的傳輸協議、控制器上的API等。OpenFlow主要由OpenFlow交換機、控制器兩部分組成。OpenFlow交換機負責數據轉發功能，技術細節由三部分組成：流表、安全信道和OpenFlow協議。控制器中的網絡操作系統實現控制邏輯功能，NOX控制器維護整個網絡視圖。第9章云計算數據中心9.2.5軟件定義網絡9.2云數據中心網絡部署of3117B4SDN網絡架構谷歌將自己的SDN網絡命名為為B4，其網絡結構分為三層：物理設備層（SwitchHardware）、局部網絡控制層（SiteControllers）和全局控制層（Global）。第9章云計算數據中心9.2.5軟件定義網絡鏈路帶寬利用率提高了3倍以上，鏈路成本大大降低，而且網絡更穩定，對路徑失效的反應更快，大大簡化了管理，也不再需要交換機使用大的包緩存，降低了對交換機的要求。第9章云計算數據中心9.3綠色節能技術9.1云數據中心的特征9.2云數據中心網絡部署9.4自動化管理of31189.5容災備份高級人工智能人才培養叢書習題9.3綠色節能技術of3119第9章云計算數據中心Google公司云數據中心解決云計算數據中心的高能耗問題已經成為一個環境問題，構建綠色節能的云計算數據中心也成為一個重要的研究熱點。云計算數據中心的耗能越來越大9.3綠色節能技術of3120UPS不間斷供電系統UPS系統自身的效率和服務器自身的電源模塊效率，傳統數據中心配電系統的效率一般低于77%。轉換級數過多，結構復雜。供電架構復雜且難以維護。云計算數據中心如何改善配電系統的效率成為一個重要的問題，目前常見的兩個方案是高壓直流配電和市電直供配電。第9章云計算數據中心9.3.1配電系統節能技術傳統數據中心UPSUn-interruptiblePowerSupply電池系統過渡油機發電系統9.3綠色節能技術of3121高壓直流配電技術機架式電源將傳統的集中供電分散到每個機架，可靠性較傳統UPS有很大提高，能夠更好地適應云計算業務場景。高壓直流供電+機架式PSU：去除了服務器節點的交流電源系統，在效率方面有了更大的提升，這種配電系統的實際測試效率可以提高到85.5%左右。第9章云計算數據中心9.3.1配電系統節能技術9.3綠色節能技術of3122市電直供配電技術市電直供電源保留了機架式電源支持熱插拔的模塊化設計，也采用機架分散供電的方式，其最大的特點在于最大化減少配電系統的轉換環節，整個配電系統的綜合效率能夠達到92%左右第9章云計算數據中心9.3.1配電系統節能技術9.3綠色節能技術of3123在數據中心運行過程中，服務器節點、網絡設備、辦公環境等時刻產生著熱量，如果不能及時散發熱量，數據中心將無法運行。第9章云計算數據中心9.3.2空調系統節能技術數據中心IT設備散熱環節9.3綠色節能技術of3124云計算數據中心空調系統的核心理念：注重IT設備的溫濕度要求，高效解決區域化的制冷，是機架級別甚至是IT設備級別的制冷解決方案，而非著眼機房環境溫濕度控制；云計算數據中心空調系統節能措施如下：高溫回風空調系統根據不同出水溫度下的制冷和能耗，對應的出水溫度（即空調回風溫度）提高1℃，空調系統約節能3%；低能耗加濕系統將純凈的水直接噴灑在多孔介質或者空氣中，形成顆粒極小的水霧，由送風氣流送；自然冷空調系統使用室外自然冷風直接帶走機房的IT設備的散熱，減少了機械制冷系統中最大的壓縮耗能環節，壓縮機制冷系統的EER由2～3.5提高到10～15，節能空間巨大。第9章云計算數據中心9.3.2空調系統節能技術9.3綠色節能技術of3125能效利用系數PUE（PowerUsageEffectiveness，PUE=1+（配電損耗+空調功耗+其他損耗）/IT功耗）核算第9章云計算數據中心9.3.2空調系統節能技術FACEBOOK新風自然冷空調系統（PUE=1.07,空調EER約為15）（1）低溫和降溫風系統（2）新風過濾系統（3）氣流組織（4）智能控制9.3綠色節能技術of3126集裝箱式數據中心，就是將數據中心的服務器設備、網絡設備、空調設備、供電設備等高密度地裝入固定尺寸的集裝箱中，使其成為數據中心的標準構建模塊，進而通過若干集裝箱模塊網絡和電力的互連互通構建完整的數據中心第9章云計算數據中心9.3.3集裝箱數據中心節能技術9.3綠色節能技術of3127集裝箱數據中心的主要特點：第9章云計算數據中心9.3.3集裝箱數據中心節能技術1高密度集裝箱數據中心模塊可容納高密度計算設備，相同空間內可容納六倍于傳統數據中心的機柜數量。2模塊化建立一個最優的數據中心生態系統，具有恰如所需的供電、冷卻和計算能力等。3按需快速部署集裝箱數據中心不需要企業再經過空間租用、土地申請、機房建設、硬件部署等周期，可大大縮短部署周期。4移動便攜集裝箱數據中心的安裝非常容易，只需要提供電源連接、水源連接（用于冷卻）和數據連接即可。9.3綠色節能技術of3128從綠色節能的角度看，集裝箱數據中心也采用了諸多良好的設計提高數據中心的能效比。第9章云計算數據中心9.3.3集裝箱數據中心節能技術12345縮短送風距離提高冷通道溫度冷/熱通道完全隔離隔熱保溫材料FreeCooling功能9.3綠色節能技術of3129海底數據中心（UnderwaterDataCenter,UDC）是將服務器等IT設施安裝在水下密封壓力容器中的數據中心；UDC的解決方案主要由岸站、海底高壓復合纜、海底分電站及海底數據艙四部分組成；相較于傳統IDC，UDC通過與海水進行熱交換進行冷卻，無需額外部署制冷系統，營運成本具有明顯優勢；UDC已實現模塊化建設，施工周期短，通過部署在沿海發達地區，可以有效降低數據傳輸的延遲。第9章云計算數據中心9.3.4海底數據中心9.3綠色節能技術of3130海底數據中心的特點：高功率密度、低PUE，同時兼顧安全性搭載海水冷卻系統，使用壽命長支持規模化部署第9章云計算數據中心9.3.4海底數據中心特征傳統數據中心海底數據中心建設周期1-2年90天左右制冷設施需要不需要營運成本高（用電量及電價相對較高；電費0.8元/度）低（用電量及電價相對較低；電費≤0.4元/度）數據傳輸高延遲低延遲9.3綠色節能技術of3131目前常見的云計算數據中心節能策略和算法可以從功率管理和降低能耗兩個角度進行分類：第9章云計算數據中心9.3.5數據中心節能策略和算法研究功率管理降低能耗云計算數據中心節能動態功率管理靜態功率管理關閉/開啟技術動態電壓/頻率調整技術虛擬機技術降低空閑能耗降低運行時能耗主要前提是數據中心所面臨的負載隨時間動態變化，它允許根據負載對功率進行動態調整主要利用高效硬件設備，通過設備結構的改變來降低能耗9.3綠色節能技術of3132目前常見的云計算節能技術：第9章云計算數據中心9.3.5數據中心節能策略和算法研究4．其他節能技術1．DVFS節能技術當CPU未被完全利用時，通過降低CPU的供電電壓和時鐘頻率主動降低CPU性能，這樣可以帶來立方數量級的動態能耗降低，并且不會對性能產生影響。2．基于虛擬化的節能技術允許在一個主機上創建多個虛擬機，因此減少了硬件資源的使用數量，改進了資源利用率。3．基于主機關閉/開啟的節能技術基于主機關閉/開啟技術的節能策略可以分為隨機式策略、超時式策略和預測式策略三類。9.3綠色節能技術of3133新能源一般指在新技術基礎上加以開發利用的可再生能源，包括太陽能、生物質能、風能等；綠色和平組織（GreenPeace）定義實現綠色IT的方式是“高能效+新能源”；第9章云計算數據中心9.3.6新能源的應用谷歌海上數據中心谷歌風能數據中心Facebook太陽能數據中心現在，越來越多的IT企業和機構正在逐步實現完全或者部分新能源驅動的數據中心9.3綠色節能技術of3134綠色網絡組織GreenGrid采用碳使用效率（CarbonUsageEffectiveness，CUE）表示每千瓦時用電產生的碳排放密集程序。數據中心應用新能源策略新能源模型和預測機制：根據新能源的不同特性進行建模，根據歷史數據建立能量曲線表等方法來預測新能源產量的變化趨勢；數據中心能源配額規劃：選擇最佳的能源組合來最小化開銷和碳排放量；數據中心內作業調試機制：根據新能源可用量，來分級調度交互性和延遲容忍型作業、調節服務功耗狀態以最大化利用新能源；數據中心間負載均衡機制：對不同地區數據中心的不同新能源可用量和不同碳排放量，負載均衡器將請求分發到不用的地區進行執行處理，從而最大化新能源的利用，減少能耗開銷和碳排放量。第9章云計算數據中心9.3.6新能源的應用CUE數據中心總的CO2排放量IT設備能耗9.3綠色節能技術of31352006年ChristianBelady提出了數據中心能源利用率（PUE）的概念，已發展成為一個全球性的數據中心能耗標準。PUE的值等于數據中心總能耗與IT設備能耗的比值，基準是2，比值越接近1，表示數據中心的能源利用率越高。第9章云計算數據中心9.3.7典型的綠色節能數據中心PUE數據中心總能耗IT設備能耗全球最節能的5個數據中心：1．雅虎“雞窩”式數據中心PUE=1.082．Facebook數據中心PUE=1.153．谷歌比利時數據中心PUE=1.164．惠普英國溫耶德數據中心PUE=1.165．微軟都柏林數據中心PUE=1.259.3綠色節能技術of3136Facebook數據中心為例，具體的節能措施：整個冷卻系統都位于二樓，空氣直接吹向服務器，無須風道，并采用定制的供電設備第9章云計算數據中心9.3.7典型的綠色節能數據中心混調室和過濾室機架和主板第9章云計算數據中心9.4自動化管理9.1云數據中心的特征9.2云數據中心網絡部署9.3綠色節能技術of31379.5容災備份高級人工智能人才培養叢書習題9.4自動化管理of3138數據中心自動化管理提供實現所有硬件、軟件和流程協調一致工作的組合方法，能跨越技術領域幫助自動完成IT系統管理流程，以提高IT運營水平；數據中心的管理和控制由軟件驅動，通過數據中心統一管理軟件達到對數據中心設備、網絡、服務、客戶的智能化統一管理；云自動化：按需分配和收回服務器、存儲、網絡、應用程序。第9章云計算數據中心9.4.1自動化管理的特征全面的可視性自動的控制執行多層次的無縫集成綜合與實時的報告全生命周期支持9.4自動化管理of3139由于資金、效率等問題，實現自動化管理不可能一蹴而就，自動化管理通常須經歷三個階段。第9章云計算數據中心9.4.2自動化管理實現階段數據中心自動化IT服務管理第一階段第二階段第三階段IT服務操作這一階段主要是監控和管理IT基礎設施的廣義集合，如網絡、服務器、應用和相關的存儲設備。這一階段會制定一系列的設施間的交互和協作處理，確保IT服務符合標準規范。這一階段的時間和精力主要是維護IT環境，定制、檢查和執行服務層協議。9.4自動化管理of3140數據中心自動化的最關鍵成功因素是其基礎服務和支持流程都已到位。在最低限度上，一個公司想要采用數據中心自動化工具必須具備下列條件：第9章云計算數據中心9.4.2自動化管理實現階段管理系統定義過程認知非自動化過程的成本內部流程資源支持各類IT管理軟件，能管理、監控、探測、識別和解決IT設施的異常行為。一套基本明確定義的流程并能運作良好，應包括事件管理、變更管理、配置管理和版本管理。為了計算引入自動化的成本節約，必須知道非自動化過程的成本，避免為了自動化而自動化。在初始配置時可使用外部資源，但是在后續的維護中，使用內部資源是更節約并有效的。9.4自動化管理of3141Facebook在OCP項目硬件管理中對設備自動化管理給出了具體規則，硬件管理主要關注四個方面的內容：固件的生命周期、事件告警和日志、遠程管理、策略技術。第9章云計算數據中心9.4.3Facebook自動化管理固件的生命周期事件告警和日志遠程管理策略技術提供一個統一界面獨立地對固件的二進制文件和配置進行部署和更新對產生的機器事件和日志消息進行格式統一遠程控制機器配置和執行系統操作，并打開一個遠程控制臺遵循和鼓勵有潛在利益的產品和標準，探索未來的開放計算規范9.4自動化管理of3142每個Facebook數據中心的運維工作人員管理了至少20000臺服務器，其中部分員工會管理數量高達26000多個的系統。一體化管理軟件減少了工程師設計數據中心性能優化方案的時間，從過去的12小時縮短到半個小時。第9章云計算數據中心9.4.3Facebook自動化管理9.4自動化管理of3143當你輸入一個創建服務器集群的命令時，StarCluster會完成如下工作：第9章云計算數據中心9.4.3Facebook自動化管理1234567初始化虛擬機實例；配置一個新的安全組；定義一個用戶友好的主機名（如node001）；創建一個非管理員的用戶賬號；為密碼登錄配置SSH；定義跨集群的網絡文件系統（NFS）文件共享；配置Oracle網格引擎排隊系統以實現跨服務器集群的任務管理。第9章云計算數據中心9.5容災備份9.1云數據中心的特征9.2云數據中心網絡部署9.3綠色節能技術of31449.4自動化管理高級人工智能人才培養叢書習題9.5容災備份of3145容災備份是通過在異地建立和維護一個備份存儲系統，利用地理上的分離來保證系統和數據對災難性事件的抵御能力第9章云計算數據中心9.5.1容災系統的等級標準容災系統對災難的抵抗程度數據級容災應用級容災數據級容災只保證數據的完整性、可靠性和安全性，但提供實時服務的請求在災難中會中斷。應用級容災系統能夠提供不間斷的應用服務，讓服務請求能夠透明地繼續運行，保證數據中心提供的服務完整、可靠、安全。9.5容災備份of3146數據中心的容災備份系統主要用兩個技術指標：數據容災原理圖第9章云計算數據中心9.5.1容災系統的等級標準數據恢復點目標（RecoveryPointObjective，RPO），主要指的是業務系統所能容忍的數據丟失量恢復時間目標（RecoveryTimeObjective，RTO），RTO主要指的是所能容忍的業務停止服務的最長時間9.5容災備份of3147容災系統的等級標準第9章云計算數據中心9.5.1容災系統的等級標準SHARE78GB/T20988—2007Tier-0在異地沒有備份數據第一級異地有備份數據，沒有備份系統，沒有網絡Tier-1異地有備份數據，沒有備份系統，沒有網絡Tier-2異地有備份數