目錄

第1章總述.............................................................................4

1.1XXX公司數據中心網絡建設需求....................................................4

1.1.1傳統架構存在的問題...........................................................4

1.1.2XXX公司數據中心目標架構....................................................5

1.2XXX公司數據中心設計目標........................................................6

1.3XXX公司數據中心技術需求........................................................7

1.3.1整合能力......................................................................7

1.3.2虛擬化能力...................................................................7

1.3.3自動化能力....................................................................8

1.3.4綠色數據中心要求..............................................................8

第2章XXX公司數據中心技術實現.......................................................9

2.1整合能力..........................................................................9

2.1.1一體化交換技術................................................................9

2.1.2無丟棄以太網技術.............................................................10

2.1.3性能支撐能力.................................................................11

2.1.4智能服務的整合能力...........................................................11

2.2虛擬化能力.......................................................................12

2.2.1虛擬交換技術.................................................................12

2.2.2網絡服務虛擬化...............................................................14

2.2.3服務器虛擬化.................................................................14

2.3自動化...........................................................................15

2.4綠色數據中心....................................................................16

第3章XXX公司數據中心網絡設計......................................................17

3.1總體網絡結構.....................................................................17

3.1.1層次化結構的優勢.............................................................17

3.1.2標準的網絡分層結構...........................................................17

3.1.3XXX公司的網絡結構..........................................................18

3.2全網核心層設計..................................................................19

3.3數據中心分布層設計..............................................................20

3.3.1數據中心分布層虛擬交換機....................................................20

3.3.2數據中心分布層智能服務機箱..................................................21

3.4數據中心接入層設計..............................................................22

3.5數據中心地址路由設計............................................................25

3.5.1核心層.......................................................................25

3.5.2分布匯聚層和接入層..........................................................25

3.5.3VLAN/VSAN和地址規劃......................................................26

第4章應用服務控制與負載均衡設計.....................................................27

4.1功能介紹.........................................................................27

4.1.1基本功能.....................................................................27

4.1.2應用特點.....................................................................28

4.2數據中心的應用情況..............................................................32

4.2.1XXXX應用1..................................................................................................................................32

4.2.2XXXX應用n..................................................................................................................................33

4.3應用優化和負載均衡需求..........................................................33

4.3.1XXXX應用的負載均衡要求....................................................33

4.3.2開放式系統應用的負載均衡要求................................................34

4.4應用優化和負載均衡設計..........................................................34

4.4.1智能服務機箱設計.............................................................34

4.4.2應用負載均衡的設計..........................................................37

4.4.3地址和路由..................................................................40

4.4.4安全功能的設計...............................................................43

4.4.5SSL分流設計.................................................................44

4.4.6擴展性設計..................................................................45

4.4.7高可用性設計................................................................46

第5章網絡安全設計...................................................................49

5.1網絡安全部署思路................................................................49

5.1.1網絡安全整體架構.............................................................49

5.1.2網絡平臺建設所必須考慮的安全問題............................................50

5.2網絡設備級安全..................................................................51

5.2.1防蠕蟲病毒的等Dos攻擊......................................................51

5.2.2防VLAN的脆弱性配置.......................................................52

5.2.3防止DHCP相關攻擊..........................................................53

5.3網絡級安全......................................................................53

5.3.1安全域的劃分................................................................54

5.3.2防火墻部署設計...............................................................54

5.3.3防火墻策略設計...............................................................56

5.3.4防火墻性能和擴展性設計......................................................56

5.4網絡的智能主動防御..............................................................57

5.4.1網絡準入控制.................................................................58

5.4.2桌面安全管理................................................................59

5.4.3智能的監控、分析和威脅響應系統..............................................61

5.4.4分布式威脅抑制系統..........................................................64

第6章服務質量保證設計...............................................................67

6.1服務質量保證設計分類............................................................67

6.2數據中心服務質量設計............................................................67

6.2.1帶寬及設備吞吐量設計........................................................67

6.2.2低延遲設計..................................................................69

6.2.3無丟棄設計..................................................................70

6.3非數據中心網絡的服務質量設計...................................................71

6.3.1QoS實施方案................................................................72

6.3.2分析業務需求................................................................72

6.3.3QoS策略的制定和部署........................................................75

6.3.4評測和調整...................................................................79

6.4QOS策略管理.....................................................................80

6.4.1QoS自動配置................................................................80

6.4.2QoS策略管理器解決方案......................................................80

第7章網絡管理和業務調度自動化.......................................................83

7.1MARS安全管理自動化............................................................83

7.2VFRAME業務部署自動化..........................................................83

第8章兩種數據中心技術方案的綜合對比.................................................84

8.1技術方案對比....................................................................84

8.1」傳統技術領域對比............................................................84

8.1.2下一代數據中心技術能力比較.................................................85

8.2技術服務對比....................................................................87

8.3商務對比.........................................................................88

8.4總結.............................................................................88

第9章數據中心網絡割接方案...........................................................89

第10章附錄：新一代數據中心產品介紹..................................................90

10.1CiscoNEXUS7000系列10插槽交換機介紹........................................90

10.2CiscoNEXUS5000/2000系列交換機介紹..........................................91

10.3CiscoNX-OS數據中心級操作系統簡介...........................................93

第1章總述

為進一步推進XXX公司信息化建設，以信息化推動XXX公司股份有限公司業務工

作的改革與發展，需要在新建的辦公大樓內建設XXX公司的新一代綠色高效能數據中

心網絡。

1.1XXX公司數據中心網絡建設需求

1.1.1傳統架構存在的問題

XXX公司現有數據中心網絡采用傳統以太網技術構建，隨著各類業務應用對IT需

求的深入發展，業務部門對資源的需求正以幾何級數增長，傳統的IT基礎架構方式給

管理員和未來業務的擴展帶來巨大挑戰。具體而言存在如下問題：

?維護管理難：在傳統構架的網絡中進行業務擴容、遷移或增加新的服務功能越

來越困難，每一次變更都將牽涉相互關聯的、不同時期按不同初衷建設的多種

物理設施，涉及多個不同領域、不同服務方向，工作繁瑣、維護困難，而且容

易出現漏洞和差錯。比如數據中心新增加一個業務類型，需要調整新的應用訪

問控制需求，此時管理員不僅要了解新業務的邏輯訪問策略，還要精通物理的

防火墻實體的部署、連接、安裝，要考慮是增加新的防火墻端口、還是需要添

置新的防火墻設備，要考慮如何以及何處接入，有沒有相應的接口，如何跳線,

以及隨之而來的VLAN、路由等等，如果網絡中還有諸如地址轉換、7層交換

等等服務與之相關聯，那將是非常繁雜的任務。當這樣的IT資源需求在短期

內累積，將極易在使得系統維護的質量和穩定性下降，同時反過來減慢新業務

的部署，進而阻礙公司業務的推進和發展。

?資源利用率低：傳統架構方式對底層資源的投入與在上層業務所收到的效果很

難得到同比發展，最普遍的現象就是忙的設備不堪重負，閑的設備資源儲備過

多，二者相互之間又無法借用和共用。這是由于對底層網絡建設是以功能單元

為中心進行建設的，并不考慮上層業務對底層資源調用的優化，這使得對網絡

的投入往往無法取得同樣的業務應用效果的改善，反而浪費了較多的資源和維

護成本。

?服務策略不一致：傳統架構最嚴重的問題是這種以孤立的設備功能為中心的設

計思路無法真正從整個系統角度制訂統一的服務策略，比如安全策略、高可用

性策略、業務優化策略等等，造成跨平臺策略的不一致性，從而難以將所投入

的產品能力形成合力為上層業務提供強大的服務支撐。

因此，按傳統底層基礎設施所提供的服務能力已無法適應當前業務急劇擴展所需的

資源要求，本次數據中心建設必須從根本上改變傳統思路，遵照一種嶄新的體系結構思

路來構造新的數據中心IT基礎架構。

1.1.2XXX公司數據中心目標架構

面向服務的設計思想已經成為Web2.0下解決來自業務變更、業務急劇發展所帶來

的資源和成本壓力的最佳途徑。從業務層面上主流的IT廠商如舊M、BEA等就提出了

摒棄傳統的“面向組件(Component)”的開發方式，而轉向“面向服務”的開發方

式，即應用軟件應當看起來是由相互獨立、松耦合的服務構成，而不是對接口要求嚴格、

變更復雜、復用性差的緊耦合組件構成，這樣可以以最小的變動、最佳的需求溝通方式

來適應不斷變化的業務需求增長。鑒于此，XXX公司數據中心業務應用正在朝“面向

服務的架構ServiceOrientedArchitecture(SOA)”轉型。與業務的SOA相適應，

XXX公司提出支撐業務運行的底層基礎設施也應當向“面向服務”的設計思想轉變，

構造“面向服務的數據中心"(ServiceOientedDataCenter,SODC)?

傳統組網觀念是根據功能需求的變化實現對應的硬件功能盒子堆砌而構建企業網

絡的，這非常類似于傳統軟件開發的組件堆砌，被已經證明為是一種較低效率的資源調

用方式，而如果能夠將整個網絡的構建看成是由封裝完好、相互耦合松散、但能夠被標

準化和統一調度的“服務”組成，那么業務層面的變更、物理資源的復用都將是輕而易

舉的事情。SODC就是要求當SOA架構下業務的變更，導致軟件部分的服務模塊的組

合變化時，松耦合的網絡服務也能根據應用的變化自動實現重組以適配業務變更所帶來

的資源要求的變化，而盡可能少的減少復雜硬件的相關性，從運行維護、資源復用效率

和策略一致性上徹底解決傳統設計帶來的頑疾。

具體而言SODC應形成這樣的資源調用方式：底層資源對于上層應用就象由服務

構成的“資源池”，需要什么服務就自動的會由網絡調用相關物理資源來實現，管理員

和業務用戶不需要或幾乎可以看不見物理設備的相互架構關系以及具體存在方式。

SODC的框架原型應如下所示：

交互服務層

儂

崇

應用網絡赧務W

蒯

以

基礎架構服務圾

助

q

在圖中，隔在物理架構和用戶之間的“交互服務層”實現了向上提供服務、向下屏

蔽復雜的物理結構的作用，使得網絡使用者看到的網絡不是由復雜的基礎物理功能實體

構成的，而是一個個智能服務一一安全服務、移動服務、計算服務、存儲服務……等等,

至于這些服務是由哪些實際存在的物理資源所提供，管理員和上層業務都無需關心，交

互服務層解決了一切資源的調度和高效復用問題。

SODC和SOA構成的數據中心IT架構必將是整個數據中心未來發展的趨勢，雖

然實現真正理想的SODC和SOA融合的架構將是一個長期的歷程，但在向該融合框架

邁進的每一步實際上都將會形成對網絡靈活性、網絡維護、資源利用效率、投資效益等

等方面的巨大改善。因此XXX公司本次數據中心的網絡建設，要求盡可能的遵循如上

所述的新一代面向服務的數據中心設計框架。

1.2XXX公司數據中心設計目標

在基于SODC的設計框架下，XXX公司新一代數據中心應實現如下設計目標：

?簡化管理：使上層業務的變更作用于物理設施的復雜度降低，能夠最低限度的

減少了物理資源的直接調度，使維護管理的難度和成本大大降低。

?高效復用：使得物理資源可以按需調度，物理資源得以最大限度的重用，減少

建設成本，提高使用效率。即能夠實現總硬件資源占用量降低了，而每個業務

得到的服務反而更有充分的資源保證了。

?策略一致：降低具體設備個體的策略復雜性，最大程度的在設備層面以上建立

統一、抽象的服務，每一個被充分抽象的服務都按找上層調用的目標進行統一

的規范和策略化，這樣整個IT將可以達到理想的服務規則和策略的一致性。

1.3XXX公司數據中心技術需求

SODC架構是一種資源調度的全新方式，資源被調用方式是面向服務而非象以前

一樣面向復雜的物理底層設施進行設計的，而其中交互服務層是基于服務調用的關鍵環

節。交互服務層的形成是由網絡智能化進一步發展而實現的，它是底層的物理網絡通過

其內在的智能服務功能，使得其上的業務層面看不到底層復雜的結構，不用關心資源的

物理調度，從而最大化的實現資源的共享和復用。要形成SODC要求的交互服務層，

必須對網絡提出以下要求：

1.3.1整合能力

SODC要求將數據中心所需的各種資源實現基于網絡的整合，這是后續上層業務

能看到底層網絡提供各類SODC服務的基礎。整合的概念不是簡單的功能增多，雖然

整合化的一個體現是很多獨立設備的功能被以特殊硬件的方式整合到網絡設備中，但其

真正的核心思想是將資源盡可能集中化以便于跨平臺的調用，而物理存在方式則可自由

的根據需要而定。

數據中心網絡所必須提供的資源包括：

?智能業務網絡所必須的智能功能，比如服務質量保證、安全訪問控制、設備智

能管理等等；

?數據中心的三大資源網絡：高性能計算網絡；存儲交換網絡；數據應用網絡。

這兩類資源的整合將是檢驗新一代數據中心網絡SODC能力的重要標準。

1.3.2虛擬化能力

虛擬化其實就是把已整合的資源以一種與物理位置、物理存在、物理狀態等無關的

方式進行調用，是從物理資源到服務形態的質變過程。虛擬化是實現物理資源復用、降

低管理維護復雜度、提高設備利用率的關鍵，同時也是為未來自動實現資源協調和配置

打下基礎。

新一代數據中心網絡要求能夠提供多種方式的虛擬化能力，不僅僅是傳統的網絡虛

擬化（比如VLAN、VPN等），還必須做到：

?交換虛擬化

?智能服務虛擬化

?服務器虛擬化

1.3.3自動化能力

自動化是SODC架構中上層自動優化的實現服務調用必須條件。在高度整合化和

虛擬化的基礎上，服務的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物

理設施無關的進行分配和整合，這樣我們只需要將一定的業務策略輸入給智能網絡的策

略服務器，一切的工作都可以按系統自身最優化的方式進行計算、評估、決策和調配實

現。

這部分需要做到兩方面的自動化：

?網絡管理的自動化

?業務部署的自動化

1.3.4綠色數據中心要求

當前的能源日趨緊張，能源的價格也飛揚直上；綠地(GreenField)是我們每個

人都關心的議題。如何最大限度的利用能源、降低功耗，以最有效率方式實現高性能、

高穩定性的服務是新一代的數據中心必須考慮的問題。

第2章XXX公司數據中心技術實現

根據以上新一代數據中心網絡的技術要求，必須對傳統數據中心所使用的常規以太

網技術進行革新，數據中心級以太網(DataCenterEthernet,簡稱DCE)技術由此誕

生。

DCE之前也被一些廠商稱為匯聚型增強以太網技術(ConvergedEnhanced

Ethernet,簡稱CEE),是兼容傳統以太網協議并按新一代數據中心的傳輸要求，對其

進行全面革新的一系列標準和技術的總稱。因此，為達到XXX公司的新一代數據中心

的建設目標，必須摒棄傳統以太網技術，而采用新一代的DCE(CEE)技術進行組網。

具體而言，本次XXX公司數據中心所采用的DCE技術，可以達到以下的技術目

標。

2.1整合能力

2.1.1一體化交換技術

DCE技術的重要目標是實現傳統數據中心最大程度的資源整合，從而實現面向服

務的數據中心SODC的最終目標。在傳統數據中心中存在三種網絡：使用光纖存儲交

換機的存儲交換網絡(FiberChannelSAN),便于實現CPU、內存資源并行化處理的

高性能計算網絡(多采用高帶寬低延遲的描iniBand技術)，以及傳統的數據局域網。

DCE技術將這三種網絡實現在統一的傳輸平臺上，即DCE將使用一種交換技術同時實

現遠程存儲、遠程并行計算處理和傳統數據網絡功能。這樣才能最大化的實現三種資源

的整合，從而便于實現跨平臺的資源調度和虛擬化服務，提高投資的有效性，同時還降

低了管理成本。

XXX公司業務的特點不需要超級計算功能，因此本次項目要實現存儲網絡和傳統

數據網絡的雙網合一，使用DCE技術實現二者的一體化交換。當前在以太網上融合傳

統局域網和存儲網絡唯一成熟技術標準是FiberChannelOverEthernet技術(FCoE),

它已在標準上給出了如何把存儲網(SAN)的數據幀封裝在以太網幀內進行轉發的相關

技術協議。由于該項技術的簡單性、高效率、經濟性，目前已經形成相對成熟的包括存

儲廠商、網絡設備廠商、主機廠商、網卡廠商的生態鏈。具體的協議發布可參見FCoE

的相關WebSites。(http:〃http:〃www.tl1.ora/fcoe)

Normalethernetframe,ethertype=FCoE

SameasaphysicalFCframe

」

」

山g

法

O4p>。pL

Oepo

8u.FCPayload。w

LX.HoH>

]Controlinformation:version,orderedsets(SOF,EOF}

本次數據中心建設將做好FCoE的基礎設施準備，并將在下一階段完成基于FCoE

技術的雙網融合。

2.1.2無丟棄以太網技術

為保證一體化交換的實現，DCE改變了傳統以太網無連接、無保障的Best曰fort

傳輸行為，即保證主機在通過以太網進行磁盤讀寫等操作、高性能計算所要求的遠程內

存訪問、并行處理等操作，不會發生任何不可預料的傳輸失敗，達到真正的“無丟包”

以太網目標。DCE在網絡中以硬件及軟件的形式實現了以下技術：

基于優先級類別的流控通過基于IEEE802.Ip類別通道的PAUSE功

(PriorityFlowControl)能來提供基于數據流類別的流量控制

IEEE80/lQaz標準定義基于IEEE802.Ip

帶寬管理流量類別的帶寬管理以及這些流量的優先級

別定義

lEEi8027lQau標準定義如何管理網絡中的

擁塞管理

擁塞(BCN/QCN)

?基于優先級類別的流控在DCE的理念中是非常重要的一環，通過它和擁塞管

理的相互合作，我們可以構造出“不丟包的以太網”架構；這對今天的我們來

說，它的誘惑無疑是不可阻擋的。不丟包的以太網絡提供一個安全的平臺，它

讓我們把一些以前無法安心放置到數據網絡上的重要應用能安心的應用到這

個DCE的數據平臺。

?帶寬管理在以太網絡中提供類似于類似幀中繼(FrameReEy)的帶寬控制能

力，它可以確保一些重要的業務應用能獲得必須的網絡帶寬；同時保證網絡鏈

路帶寬利用的最大化。

?擁塞管理可以提供在以太網絡中的各種擁塞發現和定位能力，這在非連接的網

絡中無疑是一個巨大的挑戰；可以說在目前的所有非連接的網絡中，這是一個

嶄新的應用；目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理

(QCN)這兩個方面。

2.1.3性能支撐能力

為保證實現一體化交換和資源整合，DCE還必須對傳統以太網的性能和可擴展性

的進行革新。

首先為保證三網合一后的帶寬資源，萬兆以太網技術只是DCE核心層帶寬的起點。

而正在發展中的40G/100G以太網才是DCE技術將來的主流帶寬。因此，要保證我們

今天采購的設備能有5年以上的生命周期，就必須考慮硬件的可擴展能力。這也就是說

從投資保護和工程維護的角度出發，我們需要一個100G平臺的硬體設備，即每個設備

的槽位至少要支持100G的流量(全雙工每槽位200Gbps),只有這樣才能維持該設

備5年的生命周期。同時從經濟性的角度來考慮，如果能達到400G的平臺是最理想的。

另外存儲網絡和高性能計算所要求的通過網絡實現的遠程磁盤讀寫、內存同步的性

能需求，DCE設備必須提供比傳統以太網設備低幾個數量級的端口間轉發延遲。DCE

要求的核心層的三層轉發延遲應可達到30us以下，接入層的二層轉發延遲應可在3?

4us以下。這都是傳統以太網技術無法實現的性能指標要求。

2.1.4智能服務的整合能力

眾所周知，應用的復雜度是在不斷的提升，同時伴隨著網絡的融合，應用對網絡的

交互…可以預見的是網絡的復雜度也將不斷的提升。這也印證我們的判斷：應用對網絡

的控制將逐步增強，網絡同時也在為應用而優化。

因此構建一個單業務的簡單L2轉發網絡并不是網絡設備的設計方向；全業務的設

備和多業務融合的網絡才是我們所需要的環境。

那么我們需要什么樣的全業務呢，很明顯DataCenterEthernet是一個必備的項

目，同時我們至少還需要其它的基本業務屬性來保障一個多業務網絡的運行，如：

?服務質量保證QoS

?訪問列表控制ACL

?虛擬交換機的實現VirtualSwitch

?網絡流量分析Netflow

?CPU抗攻擊保護CoPP

?遠程無人值守管理CMP

?嵌入式事件管理EEM

當然，所有這些業務的實現都是在不影響轉發性能的前提條件下的。失去這個大前

提，多業務的實現就變得毫無意義。

所以設計一個好的產品就必須顧全多業務、融合網絡這個大前提。如何使這些復雜

的業務處理能夠在高達100G甚至是400G的線路卡上獲得線速處理的性能是考驗一個

硬件平臺的重要技術指標。

最終的勝出者無疑就是能夠用最小的代價來換取最大業務實現和性能的設備平臺。

2.2虛擬化能力

DCE對網絡虛擬化不僅僅是傳統意義上的VLAN和VPN,為實現SODC的交互

服務層資源調度方式，DCE還能夠做到以下的虛擬化能力。

2.2.1虛擬交換技術

虛擬交換技術可以實現當我們使用交換機資源時，我們可以不用關心交換服務的物

理存在方式，它可能是由一臺交換機提供，也可能是兩臺交換機設備，甚至可以是一個

交換機中的幾個虛擬交換機之一。思科的DCE技術就提供了將兩個物理交換機虛擬為

一臺交換機的虛擬交換系統(VSS)技術，以及將一個交換機虛擬化為多個交換機的虛

擬設備(VDC)技術。

(-)虛擬交換系統(VSS)

VSS技術可將網絡的雙核心虛擬化為單臺設備，比如使用的Cisco6509的9插槽

設備將完全被虛擬化成為單臺18槽機箱的虛擬交換機。虛擬交換機性能倍增、管理復

雜度反而減半。具體有如下優勢：

?單一管理界面：管理界面完全為單臺設備管理方式，管理和維護工作量減輕一

半；

?性能翻倍：虛擬交換系統具備兩臺疊加的性能，與其它交換機通過跨物理機箱

的雙千兆以太網或雙萬兆以太網捆綁技術，遠比依靠路由或生成樹的負載均衡

更均勻，帶寬和核心吞吐量均做到真正的翻倍。

?協議簡單：虛擬交換系統與其它設備間的動態路由協議完全是單臺設備與其它

設備的協議關系，需維護的路由鄰居關系數以二次方根下降，在本系統中可達

4~5倍下降，工作量和部署難度大大降低；虛擬交換系統同時作為單臺設備

參與生成樹計算關系，生成樹計算和維護量以二次方根下降，在本系統中可達

4?5倍下降，工作量和部署難度大大降低。

?冗余可靠：虛擬交換系統形成虛擬單機箱、物理雙引擎的跨機箱冗余引擎系統,

下連接入交換機原來需要用動態路由或生成樹實現冗余切換的，在VSS下全

都可以用簡單的鏈路捆綁實現負載均衡和冗余，無論是鏈路還是引擎，冗余切

換比傳統方式更加迅捷平滑，保持上層業務穩定運行。以前兩個單引擎機箱的

其中一臺更換引擎，一定會導致數據的丟失，而虛擬交換系統里任意一臺更換

引擎，數據可以保證0丟失。

（-）虛擬設備系統（VDC）

VDC技術則可以實現將一臺交換機劃分為多個虛擬的子交換機，每個交換機擁有

獨立的配置界面，獨立的生成樹、路由、SNMP、VRRP等協議進程，甚至獨立的資源

分配（內存、TCAM、轉發表等等）。它與VSS配合，將在實現更加靈活的、與物理設

備無關的跨平臺資源分配能力，為數據中心這種底層設施資源消耗型網絡提供更經濟高

效的組網方式，也為管理和運營智能化自動化創造條件。

物理設備虛擬成若干個邏輯上的獨立設備的圖示:

Infrastructure

Kernel

2.2.2網絡服務虛擬化

在服務資源整合以及設備虛擬化的基礎之上，DCE要求每個虛擬化的網絡應用區

都有自己的業務服務設施，比如自己的防火墻、IDS、負載均衡器、SSL加速、……網

絡服務，這些如果都是物理上獨占式分配的，將是高成本、低效率且難于維護管理的。

DCE網絡在提供這些網絡智能服務時都可以以虛擬化的方式實現各類服務的資源調

用，思科的DCE網絡中就可以實現虛擬防火墻、虛擬IDS、虛擬負載均衡器、虛擬SSL

VPN網絡……等等，從而實現網絡智能服務的虛擬化。

2.2.3服務器虛擬化

服務器虛擬化可以使上層業務應用僅僅根據自己所需的計算資源占用要求來對

CPU、內存、I/O和應用資源等實現自由調度，而無須考慮該應用所在的物理關聯和位

置。當前商用化最為成功的服務器虛擬化解決方案是VMWare的VMotion系列，微軟

的VirtualServer和許多其它第三方廠商（如Intel、AMD等）也正在加入，使得服務

器虛擬化的解決方案將越來越完善和普及。

然而人們越來越意識到服務器虛擬化的系統解決方案中除了應用、主機、操作系統

的角色外，網絡將是一個更為至關重要的角色。網絡將把各個自由聯系成為一個整體，

網絡將是實現自由虛擬化的橋梁。服務器虛擬化需要DCE能夠提供以下能力：

?資源的整合：業務應用運行所依賴的物理計算環境都需要網絡實現連接，然而

在傳統網絡中，傳輸數據的數據網、互連CPU和內存的計算網、互連存儲的

存儲網都是孤立的，這就無法真正實現與物理無關的服務器資源調度，因此實

現真正意義上徹底的服務器虛擬化，前面提到的DCE三網一體化交換架構是

必須的條件。

?網絡的虛擬機意識：傳統網絡是不具備虛擬機意識的，即在網絡上傳遞的信息

是無法區別它是來自于哪個虛擬機，也無法在網絡上根據虛擬機來提供相應的

網絡服務，當虛擬機遷移，也沒有相應的網絡跟蹤手段保證服務的全局一致性。

不過這些都是DCE正在解決的問題，一些DCE的領導廠商，比如思科，已經

在推出的商用化DCE產品中提供了相應的虛擬機標識機制，并且思科已經聯

合VMware等廠商將這些協議提交IEEE實現標準化。

?虛擬機遷移的網絡環境：服務器虛擬化是依靠虛擬機的遷移技術實現與物理資

源無關的資源共享和復用的。虛擬機遷移需要一個二層環境，這導致遷移范圍

被局限在傳統的VLAN內。我們知道Web2.0、云計算等概念都需要無處不在

的數據中心，那么如何實現二層網絡的跨地域延展呢？傳統的L2MPLS技術

太復雜，于是IEEE和IETF正在制定二層多路徑(即二層延展)的新標準，

DCE的領導廠商思科公司也提出了一種新的協議標準CiscoOvertheTop

Virtualization(OTV)來解決跨城域或廣域網的二層延展性問題，從而為服務器

虛擬化提供可擴展的網絡支撐。

2.3自動化

自動化是SODC架構中上層自動優化的實現服務調用必須條件。在高度整合化和

虛擬化的基礎上，服務的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物

理設施無關的進行分配和整合，這樣我們只需要將一定的業務策略輸入給智能網絡的策

略服務器，一切的工作都可以按系統自身最優化的方式進行計算、評估、決策和調配實

現?，F在商用的DCE自動化解決方案包括管理自動化和業務部署自動化。

XXX公司數據中心將在后續的建設中逐步完善自動化管理和自動化業務部署，但

需要在本期通過DCE技術的實施打下未來自動化部署的堅實基礎。

2.4綠色數據中心

DCE技術的整合化、虛擬化和自動化本身就是在達到同樣業務能力的要求下實現

高效率利用硬件資源、減少總硬件投入、節約維護管理成本等方面的最佳途徑，這本身

也是綠色數據中心的必要條件。

另外DCE產品必須在硬件實現上實現低功耗、高效率，包括

?利用最新半導體工藝（越小納米的芯片要比大納米的芯片省電）

?降低邏輯電路的復雜度（在接入層使用二層設備往往要比三層設備省電）

?減少通用集成電路的空轉（使用定制化的專業設計的芯片往往比通用芯片

省電）

?等等……

由此可見，對于一臺網絡設備，在業務能力相當的前提條件下，越小的功耗就代表

越先進的技術。在DCE設備一般可以做到維持三層的全業務萬兆吞吐功耗小于25W、

二層的萬兆吞吐功耗小于13Wo

綜上所述，在本次XXX公司新一代數據中心網絡的建設中，將采用不同于傳統以

太網技術的DCE以太網技術，構建面向服務的高效能數據中心網絡平臺。

第3章XXX公司數據中心網絡設計

3.1總體網絡結構

本次XXX公司數據中心網絡的建設將采用新一代的DCE技術，并使用DCE技術

的代表廠商Cisco公司的Nexus系列產品。網絡結構將采用大型數據中心典型的層次

化、模塊化組網結構。

3.1.1層次化結構的優勢

采用層次化結構有如下好處：

?節約成本：園區網絡意味著巨大的業務投資正確設計的園區網絡可以提高業務

效率和降低運營成本。

?便于擴展：一個模塊化的或者層次化的網絡由很多更加便于復制、改造和擴展

的模塊所構成，在添加或者移除一個模塊時，并不需要重新設計整個網絡。每

個模塊可以在不影響其他模塊或者網絡核心的情況下投入使用或者停止使用。

?加強故障隔離能力：通過將網絡分為多個可管理的小型組件，企業可以大幅度

簡化故障定位和排障處理時效。

3.1.2標準的網絡分層結構

層次化結構包括三個功能部分，即接入層、分布層和核心層，各層次定位分別如下:

■■企業：■■

I服務瓶群

?核心層：是企業數據交換網絡的骨干，本層的設計目的是實現快速的數據交換,

并且提供高可靠性和快速的路由收斂。

?分布層：也稱為匯聚層。主要匯聚來自接入層的流量和執行策略，當第三層協

議被用于這一層時可以獲得路由負載均衡，快速收斂和可擴展性等好處。分布

層還是網絡智能服務的實施點，包括安全控制、應用優化等智能功能都在此實

施。

?接入層：負責提供服務器、用戶終端、存儲設施等等的網絡第一級接入功能，

另外網絡智能服務的初始分類，比如安全標識、QoS分類將也是這一層的基本

功能。

3.1.3XXX公司的網絡結構

根據業界企業網絡最佳設計實踐參考，在邊緣節點端口較少的小型網絡中，可以考

慮將核心層與分布層合并，小型網絡的網絡規模主要由接入層交換機決定。但對于XXX

公司而言，結合XXX公司的業務現狀及發展趨勢，我們可以看到未來幾年內業務處于

一個高速成長期，必須在本期網絡架構中充分考慮未來的可擴展性。所以XXX公司企

業內部核心網絡層次結構必須具有以上嚴格清晰的劃分，即具有清晰的核心層、會聚分

布層、接入層等分層結構，才能保證網絡的穩定性、健壯性和可擴展性，以適應業務的

發展。

XXX公司的業務應用特點又決定了核心層將相對接入的網絡模塊較少，只有樓層

匯聚接入、數據中心匯聚接入、廣域網接入等三塊，如果采用單獨的大容量物理核心設

備將造成浪費，而如果采用低端核心設備則會對業務相對繁忙的數據中心匯聚形成瓶

頸，也影響網絡整體的穩定性。鑒于此，我們采用超大規模核心層設備CiscoNexus

7000作為核心，但虛擬化為兩套交換機，一套用于全網核心，一套用于數據中心匯聚。

這樣做的優勢如下：

?邏輯上仍然是清晰的兩套設備，完全保持了前述網絡分層結構的優勢。

?在性能上實現了網絡核心和數據中心匯聚交換機資源的共享和復用，非常好的

解決了核心層數據量和數據中心數據量可能存在較大差異的問題。

?以較低的投入升級了數據中心匯聚交換機的能力（相當于可以與核心層復用

4Tbps以上的交換能力），適于下一階段要進行的數據中心雙網融合的資源需

求。

?減少了設備數量，降低了設備投入成本、功耗開銷和維護管理的復雜度。

XXX公司新一代數據中心整體網絡結構如下圖所示:

列頭柜19,20

轅入層Nexus5020

柜頂

Nexus201

FEX

Rack-12Rack3,4Rack-7,8RaciS：10d9^20Rack-11,12Rack-13,14Rack-17,18

3.2全網核心層設計

本次我們采用能擴展到15Tbps以上的CiscoNexus7000系列大型DCE交換機,

每臺Nexus7000劃分為兩個VDC（虛擬交換機），一個虛擬交換機作為XXX公司全

網核心，另一個虛擬交換機作為數據中心的分布匯聚層交換機。

我們選擇的是10插槽Nexus7010,以雙機雙冗余方式部署在網絡核心。每臺當前

支持的最大交換容量為4Tbps,最大萬兆端口容量為256個，每插槽交換能力為

230Gbps（未來可擴展到500Gbps以上），可以在未來擴展40G/100G以太網。

本次每臺N7010實配32個萬兆端口，48個千兆端口，這些端口都可在物理上劃

分為屬于全網核心的虛擬交換機和屬于數據中心匯聚的虛擬交換機，每個虛擬交換機從

軟件進程到配置界面都各自獨立，但可以共享和復用總的交換機資源。

每個虛擬交換機都支持vPC技術（VirtualPort-Channel）,即可以實現跨交換機

的端口捆綁，這樣在下級交換機上連屬于不同機箱的虛擬交換機時，可以把分別連向不

同機箱的萬兆鏈路用與IEEE802.3ad兼容的技術實現以太網鏈路捆綁，提高冗余能力

和鏈路互連帶寬的同時，大大簡化網絡維護。

核心層虛擬交換機與其它設備互連都采用路由端口和三層交換方式，因此采用vPC

進行鏈路捆綁時使用三層端口鏈路捆綁技術。如圖所示：

3.3數據中心分布層設計

3.3.1數據中心分布層虛擬交換機

數據中心的分布匯聚層交換機是采用上述Nexus7010內單獨劃分處理的虛擬交換

機實現。虛擬交換機之間通過外部互連，并同樣采用vPC的三層端口鏈路捆綁技術。

分布匯聚層虛擬交換機與下面的接入層采用二層端口的vPC跨機箱捆綁技術互連，如

下圖所示。

3.3.2數據中心分布層智能服務機箱

數據中心的網絡智能服務由設計在分布層的智能服務機箱提供（Multi-Services

Chassis）。單獨的服務機箱可以不破壞高性能的一體化交換架構形成的數據中心主干,

有選擇的對三網合一的數據中心流量提供按需的網絡智能服務。比如本地存儲流量沒有

必要在傳輸過程中經過數據應用類防火墻的檢查（存儲網內有自己的安全訪問控制機

制），這樣的設計比較容易實現類似的FCoE流量的無干擾直達。

智能服務機箱采用CiscoCatalyst6500交換機，配置720G引擎和18個萬兆端口，

內置防火墻模塊（FWSM）、應用控制模塊（ACE）,提供應用級安全訪問控制和應

用優化、負載均衡功能。

智能服務機箱采用雙機冗余結構，利用Catalyst6500的VSS虛擬交換機功能，

兩個獨立的機箱完全可以看成為一個邏輯機箱，再通過共4個萬兆上連至2個N7000

上的分布匯聚層虛擬交換機上。VSS技術形成了一個具有1.44Tbps能力的智能服務機

箱，再通過N7000的vPC技術，則形成了智能服務機箱和N7000之間全雙工高達

80Gbps的互連帶寬。由于N7000和6500VSS上都預留了足夠的萬兆端口，這個捆綁

帶寬值根據未來智能服務處理性能的需要還可以成倍的平滑升級。物理和邏輯的連接示

意圖如下面所示。

物理結構圖邏輯結構圖

在一期實施中，智能服務機箱內智能服務器硬件模塊的部署密度不高一一每個機箱

內防火墻模塊、負載均衡模塊各一塊，這樣每個機箱內使用引擎加速技術的防火墻模塊

最大迸發吞吐量32Gbps,負載均衡模塊最大四層吞吐能力16Gbps（而且不是所有都

需要負載均衡），完全滿足當前業務需求，因此可以在實施中簡化配置，改雙機箱VSS

結構為一主一備機箱方式，在以后隨業務需求上漲，業務模塊增多，再完善為雙機箱負