1、70/70Page PAGE 70 of NUMPAGES 70比亞迪汽車公司IT信息化建設網絡結構設計方案2015-05目 錄 TOC o 1-3 h z u HYPERLINK l _Toc419403558 第1章 總述 PAGEREF _Toc419403558 h 5 HYPERLINK l _Toc419403559 1.1 比亞迪公司數據中心網絡建設需求 PAGEREF _Toc419403559 h 5 HYPERLINK l _Toc419403560 1.1.1 傳統架構存在的問題 PAGEREF _Toc419403560 h 5 HYPERLINK l _Toc4194

2、03561 1.1.2 數據中心目標架構設計 PAGEREF _Toc419403561 h 6 HYPERLINK l _Toc419403562 1.2 數據中心設計目標 PAGEREF _Toc419403562 h 7 HYPERLINK l _Toc419403563 1.3 數據中心技術需求 PAGEREF _Toc419403563 h 8 HYPERLINK l _Toc419403564 1.3.1 整合能力 PAGEREF _Toc419403564 h 8 HYPERLINK l _Toc419403565 1.3.2 虛擬化能力 PAGEREF _Toc41940356

3、5 h 8 HYPERLINK l _Toc419403566 1.3.3 自動化能力 PAGEREF _Toc419403566 h 9 HYPERLINK l _Toc419403567 1.3.4 綠色數據中心要求 PAGEREF _Toc419403567 h 9 HYPERLINK l _Toc419403568 第2章 比亞迪網絡系統設計與實現 PAGEREF _Toc419403568 h 10 HYPERLINK l _Toc419403569 2.1 比亞迪網絡系統概述現狀 PAGEREF _Toc419403569 h 10 HYPERLINK l _Toc41940357

4、0 2.2 改造后設計網絡系統概述 PAGEREF _Toc419403570 h 11 HYPERLINK l _Toc419403571 第3章 比亞迪網絡系統技術實現方式 PAGEREF _Toc419403571 h 14 HYPERLINK l _Toc419403572 3.1 綠色數據中心 PAGEREF _Toc419403572 h 14 HYPERLINK l _Toc419403573 3.2 局域網技術概況 PAGEREF _Toc419403573 h 15 HYPERLINK l _Toc419403574 3.3 服務器計算中心網絡結構 PAGEREF _Toc4

5、19403574 h 17 HYPERLINK l _Toc419403575 3.4 整合能力 PAGEREF _Toc419403575 h 18 HYPERLINK l _Toc419403576 3.4.1 一體化交換技術 PAGEREF _Toc419403576 h 18 HYPERLINK l _Toc419403577 3.4.2 無丟棄以太網技術 PAGEREF _Toc419403577 h 19 HYPERLINK l _Toc419403578 3.4.3 性能支撐能力 PAGEREF _Toc419403578 h 20 HYPERLINK l _Toc4194035

6、79 3.4.4 智能服務的整合能力 PAGEREF _Toc419403579 h 20 HYPERLINK l _Toc419403580 3.5 虛擬化能力 PAGEREF _Toc419403580 h 21 HYPERLINK l _Toc419403581 3.5.1 服務器虛擬化 PAGEREF _Toc419403581 h 22 HYPERLINK l _Toc419403582 3.6 自動化 PAGEREF _Toc419403582 h 22 HYPERLINK l _Toc419403583 第4章 比亞迪公司無線網絡接入網絡結構設計（建議） PAGEREF _Toc

7、419403583 h 24 HYPERLINK l _Toc419403584 4.1 概述 PAGEREF _Toc419403584 h 24 HYPERLINK l _Toc419403585 4.2 無線部分設計 PAGEREF _Toc419403585 h 24 HYPERLINK l _Toc419403586 4.3 無線網絡性能設計 PAGEREF _Toc419403586 h 26 HYPERLINK l _Toc419403587 4.3.1 無線網絡的頻點覆蓋設計 PAGEREF _Toc419403587 h 30 HYPERLINK l _Toc41940358

8、8 4.3.2 天線的選擇 PAGEREF _Toc419403588 h 33 HYPERLINK l _Toc419403589 4.3.3 無線網絡系統的安全防護設計 PAGEREF _Toc419403589 h 37 HYPERLINK l _Toc419403590 第5章 網絡安全設計 PAGEREF _Toc419403590 h 40 HYPERLINK l _Toc419403591 5.1 網絡安全部署思路 PAGEREF _Toc419403591 h 40 HYPERLINK l _Toc419403592 5.1.1 網絡安全整體架構 PAGEREF _Toc419

9、403592 h 40 HYPERLINK l _Toc419403593 5.1.2 網絡平臺建設所必須考慮的安全問題 PAGEREF _Toc419403593 h 42 HYPERLINK l _Toc419403594 5.2 網絡設備級安全 PAGEREF _Toc419403594 h 42 HYPERLINK l _Toc419403595 5.2.1 防蠕蟲病毒的等Dos攻擊 PAGEREF _Toc419403595 h 42 HYPERLINK l _Toc419403596 5.2.2 防VLAN的脆弱性配置 PAGEREF _Toc419403596 h 43 HYPE

10、RLINK l _Toc419403597 5.2.3 防止DHCP相關攻擊 PAGEREF _Toc419403597 h 44 HYPERLINK l _Toc419403598 5.3 網絡級安全 PAGEREF _Toc419403598 h 45 HYPERLINK l _Toc419403599 5.3.1 安全域的劃分 PAGEREF _Toc419403599 h 45 HYPERLINK l _Toc419403600 5.3.2 防火墻部署設計 PAGEREF _Toc419403600 h 46 HYPERLINK l _Toc419403601 5.3.3 防火墻策略設

11、計 PAGEREF _Toc419403601 h 47 HYPERLINK l _Toc419403602 5.3.4 防火墻性能和擴展性設計 PAGEREF _Toc419403602 h 48 HYPERLINK l _Toc419403603 5.4 網絡的智能主動防御 PAGEREF _Toc419403603 h 50 HYPERLINK l _Toc419403604 5.4.1 網絡準入控制 PAGEREF _Toc419403604 h 50 HYPERLINK l _Toc419403605 5.4.2 桌面安全管理 PAGEREF _Toc419403605 h 51 H

12、YPERLINK l _Toc419403606 5.4.3 智能的監控、分析和威脅響應系統 PAGEREF _Toc419403606 h 53 HYPERLINK l _Toc419403607 第6章 服務質量保證設計 PAGEREF _Toc419403607 h 57 HYPERLINK l _Toc419403608 6.1 服務質量保證設計分類 PAGEREF _Toc419403608 h 57 HYPERLINK l _Toc419403609 6.2 數據中心服務質量設計 PAGEREF _Toc419403609 h 57 HYPERLINK l _Toc41940361

13、0 6.2.1 帶寬及設備吞吐量設計 PAGEREF _Toc419403610 h 57 HYPERLINK l _Toc419403611 6.2.2 低延遲設計 PAGEREF _Toc419403611 h 59 HYPERLINK l _Toc419403612 6.2.3 無丟棄設計 PAGEREF _Toc419403612 h 60 HYPERLINK l _Toc419403613 6.3 非數據中心網絡的服務質量設計 PAGEREF _Toc419403613 h 61 HYPERLINK l _Toc419403614 6.3.1 QoS實施方案 PAGEREF _Toc

14、419403614 h 62 HYPERLINK l _Toc419403615 6.3.2 分析業務需求 PAGEREF _Toc419403615 h 63 HYPERLINK l _Toc419403616 6.3.3 QoS策略的制定和部署 PAGEREF _Toc419403616 h 65 HYPERLINK l _Toc419403617 6.3.4 評測和調整 PAGEREF _Toc419403617 h 70 HYPERLINK l _Toc419403618 6.4 QOS策略管理 PAGEREF _Toc419403618 h 71 HYPERLINK l _Toc41

15、9403619 6.4.1 QoS自動配置 PAGEREF _Toc419403619 h 71 HYPERLINK l _Toc419403620 6.4.2 QoS策略管理器解決方案 PAGEREF _Toc419403620 h 71 HYPERLINK l _Toc419403621 第7章 佳眾聯科技介紹 PAGEREF _Toc419403621 h 74 HYPERLINK l _Toc419403622 7.1 技術支持服務原則 PAGEREF _Toc419403622 h 74 HYPERLINK l _Toc419403623 7.1.1 技術支持服務特色 PAGEREF

16、 _Toc419403623 h 74 HYPERLINK l _Toc419403624 7.2 技術支持服務目標 PAGEREF _Toc419403624 h 75 HYPERLINK l _Toc419403625 7.3 技術支持維護服務 PAGEREF _Toc419403625 h 75 HYPERLINK l _Toc419403626 7.3.1 技術服務工作流程 PAGEREF _Toc419403626 h 75 HYPERLINK l _Toc419403627 7.3.2 技術服務進度管理 PAGEREF _Toc419403627 h 76 HYPERLINK l

17、_Toc419403628 7.3.3 技術服務文檔提交 PAGEREF _Toc419403628 h 77 HYPERLINK l _Toc419403629 7.4 設備保修維護服務 PAGEREF _Toc419403629 h 77 HYPERLINK l _Toc419403630 7.4.1 設備保修工作流程 PAGEREF _Toc419403630 h 77 HYPERLINK l _Toc419403631 7.4.2 設備保修進度管理 PAGEREF _Toc419403631 h 78 HYPERLINK l _Toc419403632 7.4.3 設備保修文檔提交 P

18、AGEREF _Toc419403632 h 78 HYPERLINK l _Toc419403633 7.5 定期網絡巡檢服務 PAGEREF _Toc419403633 h 78 HYPERLINK l _Toc419403634 7.5.1 定期巡檢工作流程 PAGEREF _Toc419403634 h 78 HYPERLINK l _Toc419403635 7.5.2 定期巡檢進度管理 PAGEREF _Toc419403635 h 79 HYPERLINK l _Toc419403636 7.5.3 定期巡檢文檔提交 PAGEREF _Toc419403636 h 80 HYPE

19、RLINK l _Toc419403637 7.6 現場支持維護服務 PAGEREF _Toc419403637 h 80 HYPERLINK l _Toc419403638 7.6.1 現場服務工作流程 PAGEREF _Toc419403638 h 80 HYPERLINK l _Toc419403639 7.6.2 現場服務進度管理 PAGEREF _Toc419403639 h 81 HYPERLINK l _Toc419403640 7.6.3 現場服務文檔提交 PAGEREF _Toc419403640 h 81 HYPERLINK l _Toc419403641 7.7 軟件升級

20、維護服務 PAGEREF _Toc419403641 h 82 HYPERLINK l _Toc419403642 7.7.1 軟件升級工作流程 PAGEREF _Toc419403642 h 82 HYPERLINK l _Toc419403643 7.7.2 軟件升級進度管理 PAGEREF _Toc419403643 h 82 HYPERLINK l _Toc419403644 7.7.3 軟件升級文檔提交 PAGEREF _Toc419403644 h 83 HYPERLINK l _Toc419403645 7.8 售前技術支持服務 PAGEREF _Toc419403645 h 8

21、3 HYPERLINK l _Toc419403646 7.8.1 售前服務工作流程 PAGEREF _Toc419403646 h 83 HYPERLINK l _Toc419403647 7.8.2 售前服務進度管理 PAGEREF _Toc419403647 h 83 HYPERLINK l _Toc419403648 7.8.3 售前服務文檔提交 PAGEREF _Toc419403648 h 84 HYPERLINK l _Toc419403649 7.9 專業技術培訓服務 PAGEREF _Toc419403649 h 84 HYPERLINK l _Toc419403650 7.

22、9.1 培訓服務工作流程 PAGEREF _Toc419403650 h 84 HYPERLINK l _Toc419403651 7.9.2 培訓服務進度管理 PAGEREF _Toc419403651 h 85 總述比亞迪公司數據中心網絡建設需求傳統架構存在的問題比亞迪公司現有數據中心網絡采用傳統以太網技術構建，隨著各類業務應用對IT需求的深入發展，業務部門對資源的需求正以幾何級數增長，傳統的IT基礎架構方式給管理員和未來業務的擴展帶來巨大挑戰。具體而言存在如下問題：維護管理難：在傳統構架的網絡中進行業務擴容、遷移或增加新的服務功能越來越困難，每一次變更都將牽涉相互關聯的、不同時期按不同初

23、衷建設的多種物理設施，涉及多個不同領域、不同服務方向，工作繁瑣、維護困難，而且容易出現漏洞和差錯。比如數據中心新增加一個業務類型，需要調整新的應用訪問控制需求，此時管理員不僅要了解新業務的邏輯訪問策略，還要精通物理的防火墻實體的部署、連接、安裝，要考慮是增加新的防火墻端口、還是需要添置新的防火墻設備，要考慮如何以及何處接入，有沒有相應的接口，如何跳線，以及隨之而來的VLAN、路由等等，如果網絡中還有諸如地址轉換、7層交換等等服務與之相關聯，那將是非常繁雜的任務。當這樣的IT資源需求在短期內累積，將極易在使得系統維護的質量和穩定性下降，同時反過來減慢新業務的部署，進而阻礙公司業務的推進和發展。資

24、源利用率低：傳統架構方式對底層資源的投入與在上層業務所收到的效果很難得到同比發展，最普遍的現象就是忙的設備不堪重負，閑的設備資源儲備過多，二者相互之間又無法借用和共用。這是由于對底層網絡建設是以功能單元為中心進行建設的，并不考慮上層業務對底層資源調用的優化，這使得對網絡的投入往往無法取得同樣的業務應用效果的改善，反而浪費了較多的資源和維護成本。服務策略不一致： 傳統架構最嚴重的問題是這種以孤立的設備功能為中心的設計思路無法真正從整個系統角度制訂統一的服務策略，比如安全策略、高可用性策略、業務優化策略等等，造成跨平臺策略的不一致性，從而難以將所投入的產品能力形成合力為上層業務提供強大的服務支撐。

25、因此，按傳統底層基礎設施所提供的服務能力已無法適應當前業務急劇擴展所需的資源要求，本次數據中心建設必須從根本上改變傳統思路，遵照一種嶄新的體系結構思路來構造新的數據中心IT基礎架構。 數據中心目標架構設計面向服務的設計思想已經成為Web2.0下解決來自業務變更、業務急劇發展所帶來的資源和成本壓力的最佳途徑。從業務層面上主流的IT廠商如IBM、BEA等就提出了摒棄傳統的“面向組件（Component）”的開發方式，而轉向“面向服務”的開發方式，即應用軟件應當看起來是由相互獨立、松耦合的服務構成，而不是對接口要求嚴格、變更復雜、復用性差的緊耦合組件構成，這樣可以以最小的變動、最佳的需求溝通方式來適

26、應不斷變化的業務需求增長。鑒于此，比亞迪公司數據中心業務應用正在朝“面向服務的架構Service Oriented Architecture（SOA）”轉型。與業務的SOA相適應，比亞迪公司提出支撐業務運行的底層基礎設施也應當向“面向服務”的設計思想轉變，構造“面向服務的數據中心”（Service Oriented Data Center，SODC）。傳統組網觀念是根據功能需求的變化實現對應的硬件功能盒子堆砌而構建企業網絡的，這非常類似于傳統軟件開發的組件堆砌，被已經證明為是一種較低效率的資源調用方式，而如果能夠將整個網絡的構建看成是由封裝完好、相互耦合松散、但能夠被標準化和統一調度的“服務”

27、組成，那么業務層面的變更、物理資源的復用都將是輕而易舉的事情。SODC就是要求當SOA架構下業務的變更，導致軟件部分的服務模塊的組合變化時，松耦合的網絡服務也能根據應用的變化自動實現重組以適配業務變更所帶來的資源要求的變化，而盡可能少的減少復雜硬件的相關性，從運行維護、資源復用效率和策略一致性上徹底解決傳統設計帶來的頑疾。具體而言SODC應形成這樣的資源調用方式：底層資源對于上層應用就象由服務構成的“資源池”，需要什么服務就自動的會由網絡調用相關物理資源來實現，管理員和業務用戶不需要或幾乎可以看不見物理設備的相互架構關系以及具體存在方式。SODC的框架原型應如下所示：在圖中，隔在物理架構和用戶

28、之間的“交互服務層”實現了向上提供服務、向下屏蔽復雜的物理結構的作用，使得網絡使用者看到的網絡不是由復雜的基礎物理功能實體構成的，而是一個個智能服務安全服務、移動服務、計算服務、存儲服務等等，至于這些服務是由哪些實際存在的物理資源所提供，管理員和上層業務都無需關心，交互服務層解決了一切資源的調度和高效復用問題。SODC和SOA構成的數據中心IT架構必將是整個數據中心未來發展的趨勢，雖然實現真正理想的SODC和SOA融合的架構將是一個長期的歷程，但在向該融合框架邁進的每一步實際上都將會形成對網絡靈活性、網絡維護、資源利用效率、投資效益等等方面的巨大改善。因此比亞迪公司本次數據中心的網絡建設，要求

29、盡可能的遵循如上所述的新一代面向服務的數據中心設計框架。 數據中心設計目標在基于SODC的設計框架下，比亞迪公司新一代數據中心應實現如下設計目標：簡化管理：使上層業務的變更作用于物理設施的復雜度降低，能夠最低限度的減少了物理資源的直接調度，使維護管理的難度和成本大大降低。高效復用：使得物理資源可以按需調度，物理資源得以最大限度的重用，減少建設成本，提高使用效率。即能夠實現總硬件資源占用量降低了，而每個業務得到的服務反而更有充分的資源保證了。策略一致：降低具體設備個體的策略復雜性，最大程度的在設備層面以上建立統一、抽象的服務，每一個被充分抽象的服務都按找上層調用的目標進行統一的規范和策略化，這樣

30、整個IT將可以達到理想的服務規則和策略的一致性。 數據中心技術需求SODC架構是一種資源調度的全新方式，資源被調用方式是面向服務而非象以前一樣面向復雜的物理底層設施進行設計的，而其中交互服務層是基于服務調用的關鍵環節。交互服務層的形成是由網絡智能化進一步發展而實現的，它是底層的物理網絡通過其內在的智能服務功能，使得其上的業務層面看不到底層復雜的結構，不用關心資源的物理調度，從而最大化的實現資源的共享和復用。要形成SODC要求的交互服務層，必須對網絡提出以下要求：整合能力SODC要求將數據中心所需的各種資源實現基于網絡的整合，這是后續上層業務能看到底層網絡提供各類SODC服務的基礎。整合的概念不

31、是簡單的功能增多，雖然整合化的一個體現是很多獨立設備的功能被以特殊硬件的方式整合到網絡設備中，但其真正的核心思想是將資源盡可能集中化以便于跨平臺的調用，而物理存在方式則可自由的根據需要而定。數據中心網絡所必須提供的資源包括：智能業務網絡所必須的智能功能，比如服務質量保證、安全訪問控制、設備智能管理等等；數據中心的三大資源網絡：高性能計算網絡；存儲交換網絡；數據應用網絡。這兩類資源的整合將是檢驗新一代數據中心網絡SODC能力的重要標準。虛擬化能力虛擬化其實就是把已整合的資源以一種與物理位置、物理存在、物理狀態等無關的方式進行調用，是從物理資源到服務形態的質變過程。虛擬化是實現物理資源復用、降低管

32、理維護復雜度、提高設備利用率的關鍵，同時也是為未來自動實現資源協調和配置打下基礎。新一代數據中心網絡要求能夠提供多種方式的虛擬化能力，不僅僅是傳統的網絡虛擬化（比如VLAN、VPN等），還必須做到：交換虛擬化智能服務虛擬化服務器虛擬化自動化能力自動化是SODC架構中上層自動優化的實現服務調用必須條件。在高度整合化和虛擬化的基礎上，服務的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物理設施無關的進行分配和整合，這樣我們只需要將一定的業務策略輸入給智能網絡的策略服務器，一切的工作都可以按系統自身最優化的方式進行計算、評估、決策和調配實現。這部分需要做到兩方面的自動化：網絡管理的自動化業務部

33、署的自動化綠色數據中心要求當前的能源日趨緊張，能源的價格也飛揚直上；綠地（Green Field）是我們每個人都關心的議題。如何最大限度的利用能源、降低功耗，以最有效率方式實現高性能、高穩定性的服務是新一代的數據中心必須考慮的問題。比亞迪網絡系統設計與實現比亞迪網絡系統概述現狀 如下圖所示，分析過后不難發現，網絡系統分散的比較開，每個業務系統都有自己獨立的區域，幾乎可以成為每個業務系統都有自己獨立的環境，這種方式在系統維護上造成了很大的成本浪費和人工浪費。 按照第二章程描述的一些網絡系統架構設計的理念來看，可以先將業務系統做一次大整合，將所有系統都部署在同一個區域內，此區域獨立出來專門提供業務

34、服務的接入，再以后的業務發展規劃上考慮，以后新業務也可以部署在本區域內。 網絡的外聯也是比較多的，和服務器一樣的情況是分散的比較開，也可以考慮將需要外聯的業務及鏈路整合到一起，獨立出來一個區域，將其專門的接入外聯鏈路業務，在接入外聯業務后經過一道或多道防火墻后才能進去其他區域訪問服務器或終端。 經過對網絡系統拓撲分析，首先推薦的網絡優化方案是將現有網絡系統上的業務整合，然后分區，每個區域都有自己不同的功能，每個區域負責自己的功能，在管理及維護系統時，判斷問題故障有一個直觀的判斷及故障目標鎖定的好處。數據集中的需求 滿足全行數據集中的需要，網絡骨干需要具有高速交換效率、高穩定性、高可靠性和可伸縮

35、性，適應拓撲結構的變化。業務隔離的需求根據業務特點和重要級別，不同業務之間要求相互安全隔離，可以為不同的業務或應用系統分配不同的IP網段，并在各網段之間實現業務的隔離。如業務系統可劃分業務網段、辦公自動化網段、外接業務網段、語音網段、視頻網段等，明確各類業務的優先級，從而在邏輯上將各類業務分開，并保證其可靠傳輸。網絡分區的需求為簡化網絡中各部分的相關性，便于網絡的實施及運維管理，在網絡的構建中，通過定義不同的功能模塊，將整體網絡分為多個不同的功能區域，通過清晰定義不同功能區域的應用，來實現整體網絡結構的可靠性、可擴展性、高可用性等。可管理性的需求網絡的安全穩定運行離不開有效的管理，在設計時要求

36、充分考慮網絡的可管理性，要求能實現對包含網絡設備、應用程序、服務器、數據庫、存儲、SAN交換機等所有設備的管理,。采用兩級網管模式：集中監控、分權管理。即在數據中心建立網管中心，統一調度網絡資源，各責任人管理所屬機構網絡，形成覆蓋全行的分布式網絡管理系統。改造后設計網絡系統概述 根據現有網絡系統現有業務，可以將網絡系統分布成為一下幾個區域：互聯網/VPN接入區負責外聯分支結構接入、vpn撥入、互聯網訪問，以現有網絡系統中心業務服務器區一線生產業務服務器合并到一個區域接入、VMs和小機接入工作，如果業務不同分工的訪問需求可以使用vlan技術將部分不同訪問級別的業務隔離，配合acl的控制來進行業務

37、級別隔離。存儲區提供系統服務器的存儲工作，負責數據災備工作。如果部署服務器虛擬化或桌面虛擬化本區域是必不可少的一個區域。無線控制區（推薦）負責廠區、辦公樓，等等地區的AP接入控制工作，統一的管理AP工作網絡管理區（推薦）負責數據中心網絡管理工作廠區接入區廠區和辦公樓的終端、手持掃描器、手機等等終端的接入工作 不同的區域根據業務的不同都有不同的訪問需求，將各個區域互聯起來，最方便管理及高可靠性考慮，使用防火墻是最為妥當的設備。如今業界稱之為 下一代防火墻的性能及處理能力以及是上一代防火墻的好幾十倍，在網絡轉發，會話聯立，會話半開，會話全開等等性能上也提升了好多。所以核心位置部署兩臺核心防火墻。

38、在現有網絡系統中是有很多防火墻接入到了25M的電信互聯網線路上，當經過分析發現其實都是有同一根電信的鏈路分支出來來的不同IP地址來提供服務，其實是可以將此部分整合成為2個防火墻A/S結構，來提供互聯網訪問/發布服務。整合后通過技術策略保持原有的安全服務可以保持原樣不變。整合所有部署的服務器都歸納為服務區去，或許此部分是工作量最大的一個動作，但是規劃的執行起來也沒有那么復雜，通過vlan及ACL、route-map等策略可以保證到原有服務器享有的安全及被訪問策略。在服務區如果考慮高可靠性的時候，建議采購新服務器核心交換機，對于服務器現對出一種DCE（無丟包）交換機，可以對服務器連接交換機可靠性。

39、根據以上新一代數據中心網絡的技術要求，必須對傳統數據中心所使用的常規以太網技術進行革新，數據中心級以太網（Data Center Ethernet，簡稱DCE）技術由此誕生。DCE之前也被一些廠商稱為匯聚型增強以太網技術（Converged Enhanced Ethernet，簡稱CEE），是兼容傳統以太網協議并按新一代數據中心的傳輸要求，對其進行全面革新的一系列標準和技術的總稱。因此，為達到比亞迪公司的新一代數據中心的建設目標，必須摒棄傳統以太網技術，而采用新一代的DCE（CEE）技術進行組網。比亞迪網絡系統技術實現方式分布匯聚層和接入層之間使用交換端口，實現二層交換。如前所述，當前的主流虛

40、擬機軟件，如VMware、Virtual Server等都需要在二層交換下實現虛擬機遷移，因此在數據中心接入層使用二層交換將方便虛擬機的遷移和調度。當前由于Cisco獨特的VSS虛擬交換機技術和vPC跨設備端口捆綁技術的使用，可以實現在二層結構下完全沒有環路，從根本上解決了生成樹算法收斂慢、不穩定、故障多的問題，也使得在一個數據中心內二層結構下的可擴展性與三層結構沒有根本的區別。如下圖所示，只要經過適當設計，本項目接入層的二層部分將沒有環路，快速生成樹算法將只用于在誤操作等極端情況下的防范手段。當IEEE的改進生成樹協議或者IETF的二層路由協議技術成熟，或者直接使用思科當前就可以提供的OTV

41、技術，二層結構還可以擴展到城域和廣域網中去，擴大服務器虛擬化的調度范圍，向云計算的理想邁進。分布匯聚層的智能服務機箱相關的地址和邏輯設計將在后面專項的智能服務介紹中詳細闡述。綠色數據中心DCE技術的整合化、虛擬化和自動化本身就是在達到同樣業務能力的要求下實現高效率利用硬件資源、減少總硬件投入、節約維護管理成本等方面的最佳途徑，這本身也是綠色數據中心的必要條件。另外DCE產品必須在硬件實現上實現低功耗、高效率，包括利用最新半導體工藝（越小納米的芯片要比大納米的芯片省電）降低邏輯電路的復雜度 （在接入層使用二層設備往往要比三層設備省電）減少通用集成電路的空轉（使用定制化的專業設計的芯片往往比通用芯

42、片省電）等等由此可見，對于一臺網絡設備，在業務能力相當的前提條件下，越小的功耗就代表越先進的技術。在DCE設備一般可以做到維持三層的全業務萬兆吞吐功耗小于25W、二層的萬兆吞吐功耗小于13W。綜上所述，在本次比亞迪公司新一代數據中心網絡的建設中，將采用不同于傳統以太網技術的DCE以太網技術，構建面向服務的高效能數據中心網絡平臺。 局域網技術概況通過高速以太網技術為核心、清晰的層次化設計和虛擬網絡的劃分，是網絡系統網絡建設的關鍵。因此我們在網絡系統設計中采用了成熟的萬兆以太網作為系統骨干設計。目前，網絡中最常用的媒體訪問技術和交換技術主要包括：（一）IEEE 802.3/以太網IEEE 802.

43、3/以太網是目前世界上運用最廣泛的媒體訪問技術。現有的局域網大多利用IEEE 802.3/以太網進行組網。IEEE 802.3/以太網是NOVELL網、Windows NT、HP LAN Server、UNIX網絡、DECnet等低層所用的主要媒體訪問技術，其組網方式靈活、方便，且支持的軟硬件產品眾多。IEEE 802.3/以太網支持的速率為共享型10Mbps。在目前和今后，IEEE 802.3/以太網仍然是組建用戶端系統尤其是小型局域網系統最合適的組網方式。IEEE 802.3/以太網在組網時，根據不同的媒體可分為10Base-2（以同軸粗纜為傳輸媒體）、10Base-5（同軸細纜）、10B

44、ase-T（雙絞線）及10Base-FL（光纖）。其中10Base-2、10Base-5物理上以總線結構組網；而10Base-T和10Base-FL利用HUB，物理上以星型結構組網。（二）交換以太網嚴格地說，交換以太網是一種技術，而并沒有規定新的網絡協議。它除了提供多個單獨的10Mbps端口外，其支持協議仍然是IEEE 802.3/以太網。交換以太網作為今后最有前途的一種技術，其最大的優點在于：與原有IEEE 802.3/以太網完全兼容。提供多個獨占的10Mbps端口，其速率總和為n10Mbps，克服了IEEE 802.3共享10Mbps帶寬所帶來的問題，如站點數增加、業務量擴大及多媒體應用造

45、成網絡效率下降的問題。價格適宜，利用交換可取代橋和部分本地路由器，但價格更為便宜。因此，將交換以太網與普通以太網及高速網如FDDI、高速以太網或ATM相結合，是今后組建用戶端系統的最佳方案。它對于站點數多、業務量大及多媒體的應用具有極大的優越性。當然，交換技術也可用于其它高速局域網，以提供更高的獨占的高速端口。（三）100Base-T快速以太網100Base-T是由10Base-T發展而來，它們的主要區別在于網絡的帶寬提高了10倍，即100Mbps。從協議而言，它采用了FDDI的PMD協議，但其價格卻比FDDI便宜。100Base-T的標準也由IEEE 802.3制定。目前只要是支持10Bas

46、e-T的網絡操作系統，均可支持100Base-T而且100Base-T和10Base-T的報文可不加修改地互相交換。由于采用與10Base-T集成，是一種既便宜又實用的適合于多站點、高業務量應用的媒體訪問技術。（四）千兆以太網千兆以太網既是以千兆位的速度運行的以太網，它是得到開發并被廣泛應用的基于快速以太網（100BASE-T）技術的網絡產品的自然進化。它提供了1000Mb/s的網絡帶寬，使得各種機構具有能力迎接已經超負荷并仍在快速增長的網絡基礎結構的挑戰。千兆以太網保留了IEEE802.3和以太網標準的幀格式，以及IEEE802.3的網絡管理功能。對千兆以太網的管理對象、屬性以及活動的定義方

47、式也和10Mb/s與100Mb/s網絡相同。（五）萬兆以太網在這20年中，以太網由最初10M粗纜總線發展為10Base510M細纜，其后是一個短暫的后退：1Base5的1兆以太網，隨后以太網技術發展成為大家熟悉的星形的雙絞線10BaseT。隨著對帶寬要求的提高以及器件能力的增強出現了快速以太網：五類線傳輸的100BaseTX、三類線傳輸的100BaseT4和光纖傳輸的100BaseFX。隨著帶寬的進一步提高，千兆以太網接口粉墨登場：包括短波長光傳輸1000Base-SX、長波長光傳輸1000Base-LX以及五類線傳輸1000BaseT。2002年7月18日IEEE通過了802.3ae：10G

48、bit/s以太網又稱萬兆以太網。服務器計算中心網絡結構根據業界企業網絡最佳設計實踐參考，在邊緣節點端口較少的小型網絡中，可以考慮將核心層與分布層合并，小型網絡的網絡規模主要由接入層交換機決定。但對于比亞迪公司而言，結合比亞迪公司的業務現狀及發展趨勢，我們可以看到未來幾年內業務處于一個高速成長期，必須在本期網絡架構中充分考慮未來的可擴展性。所以比亞迪公司企業內部核心網絡層次結構必須具有以上嚴格清晰的劃分，即具有清晰的核心層、會聚分布層、接入層等分層結構，才能保證網絡的穩定性、健壯性和可擴展性，以適應業務的發展。比亞迪公司的業務應用特點又決定了核心層將相對接入的網絡模塊較少，只有樓層匯聚接入、數據

49、中心匯聚接入、廣域網接入等三塊，如果采用單獨的大容量物理核心設備將造成浪費，而如果采用低端核心設備則會對業務相對繁忙的數據中心匯聚形成瓶頸，也影響網絡整體的穩定性。鑒于此，我們采用超大規模核心層設備DCE交換機作為核心，但虛擬化為兩套交換機，一套用于全網核心，一套用于數據中心匯聚。這樣做的優勢如下：邏輯上仍然是清晰的兩套設備，完全保持了前述網絡分層結構的優勢。在性能上實現了網絡核心和數據中心匯聚交換機資源的共享和復用，非常好的解決了核心層數據量和數據中心數據量可能存在較大差異的問題。以較低的投入升級了數據中心匯聚交換機的能力（相當于可以與核心層復用4Tbps以上的交換能力），適于下一階段要進行

50、的數據中心雙網融合的資源需求。減少了設備數量，降低了設備投入成本、功耗開銷和維護管理的復雜度。服務器區虛擬化服務的部署VMware vCenter Servers 讓管理員可以使用標準化的模板快速調配虛擬機和主機，并利用自動化的補救操作來確保遵從 vSphere 主機配置和主機及虛擬機修補程序級別。集成的物理到虛擬機轉換 (P2V) 可同時管理多個物理機、非 VMware 虛擬機格式以及物理機備份映像到正在運行的虛擬機的轉換。利用 VMware vCenter Update Manager，通過自動掃描和修補在線 VMware ESX 主機和所選 Microsoft 及 Linux 虛擬機，強

51、制實施對修補程序標準的遵從性。通過安全地修補離線虛擬機來減少環境中的安全風險，并通過在修補和回滾前自動拍攝快照來減少停機。整合能力一體化交換技術DCE技術的重要目標是實現傳統數據中心最大程度的資源整合，從而實現面向服務的數據中心SODC的最終目標。在傳統數據中心中存在三種網絡：使用光纖存儲交換機的存儲交換網絡（Fiber Channel SAN），便于實現CPU、內存資源并行化處理的高性能計算網絡（多采用高帶寬低延遲的InfiniBand技術），以及傳統的數據局域網。DCE技術將這三種網絡實現在統一的傳輸平臺上，即DCE將使用一種交換技術同時實現遠程存儲、遠程并行計算處理和傳統數據網絡功能。這

52、樣才能最大化的實現三種資源的整合，從而便于實現跨平臺的資源調度和虛擬化服務，提高投資的有效性，同時還降低了管理成本。比亞迪公司業務的特點不需要超級計算功能，因此本次項目要實現存儲網絡和傳統數據網絡的雙網合一，使用DCE技術實現二者的一體化交換。當前在以太網上融合傳統局域網和存儲網絡唯一成熟技術標準是Fiber Channel Over Ethernet技術（FCoE），它已在標準上給出了如何把存儲網(SAN)的數據幀封裝在以太網幀內進行轉發的相關技術協議。由于該項技術的簡單性、高效率、經濟性，目前已經形成相對成熟的包括存儲廠商、網絡設備廠商、主機廠商、網卡廠商的生態鏈。具體的協議發布可參見 F

53、CoE 的相關Web Sites(HYPERLINK /HYPERLINK /fcoe/fcoe )本次數據中心建設將做好FCoE的基礎設施準備，并將在下一階段完成基于FCoE技術的雙網融合。 無丟棄以太網技術為保證一體化交換的實現，DCE改變了傳統以太網無連接、無保障的Best Effort傳輸行為，即保證主機在通過以太網進行磁盤讀寫等操作、高性能計算所要求的遠程內存訪問、并行處理等操作，不會發生任何不可預料的傳輸失敗，達到真正的“無丟包”以太網目標。DCE在網絡中以硬件及軟件的形式實現了以下技術：通過基于IEEE 802.1p類別通道的PAUSE功能來提供基于數據流類別的流量控制IEEE

54、802.1Qaz 標準定義基于IEEE 802.1p 流量類別的帶寬管理以及這些流量的優先級別定義IEEE 802.1Qau 標準定義如何管理網絡中的擁塞(BCN/QCN)基于優先級類別的流控在DCE 的理念中是非常重要的一環，通過它和擁塞管理的相互合作，我們可以構造出“不丟包的以太網”架構；這對今天的我們來說，它的誘惑無疑是不可阻擋的。不丟包的以太網絡提供一個安全的平臺，它讓我們把一些以前無法安心放置到數據網絡上的重要應用能安心的應用到這個DCE的數據平臺。帶寬管理在以太網絡中提供類似于類似幀中繼(Frame Relay)的帶寬控制能力，它可以確保一些重要的業務應用能獲得必須的網絡帶寬；同時

55、保證網絡鏈路帶寬利用的最大化。擁塞管理可以提供在以太網絡中的各種擁塞發現和定位能力，這在非連接的網絡中無疑是一個巨大的挑戰；可以說在目前的所有非連接的網絡中，這是一個嶄新的應用；目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理(QCN)這兩個方面。 性能支撐能力為保證實現一體化交換和資源整合，DCE還必須對傳統以太網的性能和可擴展性的進行革新。首先為保證三網合一后的帶寬資源，萬兆以太網技術只是DCE核心層帶寬的起點。而正在發展中的40G/100G以太網才是DCE技術將來的主流帶寬。因此，要保證我們今天采購的設備能有5年以上的生命周期，就必須考慮硬件的可擴展能力。這也就是說從投資保護

56、和工程維護的角度出發，我們需要一個100G平臺的硬體設備，即每個設備的槽位至少要支持100G的流量（全雙工每槽位200Gbps），只有這樣才能維持該設備5年的生命周期。同時從經濟性的角度來考慮，如果能達到400G的平臺是最理想的。另外存儲網絡和高性能計算所要求的通過網絡實現的遠程磁盤讀寫、內存同步的性能需求，DCE設備必須提供比傳統以太網設備低幾個數量級的端口間轉發延遲。DCE要求的核心層的三層轉發延遲應可達到30us以下，接入層的二層轉發延遲應可在34us以下。這都是傳統以太網技術無法實現的性能指標要求。智能服務的整合能力眾所周知，應用的復雜度是在不斷的提升，同時伴隨著網絡的融合，應用對網絡

57、的交互可以預見的是網絡的復雜度也將不斷的提升。這也印證我們的判斷：應用對網絡的控制將逐步增強，網絡同時也在為應用而優化。因此構建一個單業務的簡單L2轉發網絡并不是網絡設備的設計方向；全業務的設備和多業務融合的網絡才是我們所需要的環境。那么我們需要什么樣的全業務呢，很明顯Data Center Ethernet 是一個必備的項目，同時我們至少還需要其它的基本業務屬性來保障一個多業務網絡的運行，如：服務質量保證QoS訪問列表控制 ACL虛擬交換機的實現 Virtual Switch網絡流量分析 NetflowCPU抗攻擊保護CoPP遠程無人值守管理CMP嵌入式事件管理EEM當然，所有這些業務的實現

58、都是在不影響轉發性能的前提條件下的。失去這個大前提，多業務的實現就變得毫無意義。所以設計一個好的產品就必須顧全多業務、融合網絡這個大前提。如何使這些復雜的業務處理能夠在高達100G甚至是400G的線路卡上獲得線速處理的性能是考驗一個硬件平臺的重要技術指標。最終的勝出者無疑就是能夠用最小的代價來換取最大業務實現和性能的設備平臺。 虛擬化能力DCE對網絡虛擬化不僅僅是傳統意義上的VLAN和VPN，為實現SODC的交互服務層資源調度方式，DCE還能夠做到以下的虛擬化能力。服務器虛擬化服務器虛擬化可以使上層業務應用僅僅根據自己所需的計算資源占用要求來對CPU、內存、I/O和應用資源等實現自由調度，而無

59、須考慮該應用所在的物理關聯和位置。當前商用化最為成功的服務器虛擬化解決方案是VMWare的VMotion系列，微軟的Virtual Server和許多其它第三方廠商（如Intel、AMD等）也正在加入，使得服務器虛擬化的解決方案將越來越完善和普及。然而人們越來越意識到服務器虛擬化的系統解決方案中除了應用、主機、操作系統的角色外，網絡將是一個更為至關重要的角色。網絡將把各個自由聯系成為一個整體，網絡將是實現自由虛擬化的橋梁。服務器虛擬化需要DCE能夠提供以下能力：資源的整合：業務應用運行所依賴的物理計算環境都需要網絡實現連接，然而在傳統網絡中，傳輸數據的數據網、互連CPU和內存的計算網、互連存儲

60、的存儲網都是孤立的，這就無法真正實現與物理無關的服務器資源調度，因此實現真正意義上徹底的服務器虛擬化，前面提到的DCE三網一體化交換架構是必須的條件。網絡的虛擬機意識：傳統網絡是不具備虛擬機意識的，即在網絡上傳遞的信息是無法區別它是來自于哪個虛擬機，也無法在網絡上根據虛擬機來提供相應的網絡服務，當虛擬機遷移，也沒有相應的網絡跟蹤手段保證服務的全局一致性。不過這些都是DCE正在解決的問題，一些DCE的領導廠商，比如思科，已經在推出的商用化DCE產品中提供了相應的虛擬機標識機制，并且思科已經聯合VMware等廠商將這些協議提交IEEE實現標準化。虛擬機遷移的網絡環境：服務器虛擬化是依靠虛擬機的遷移