. . 比亞迪汽車公司比亞迪汽車公司 ITIT 信息化建設網絡結構設計方案信息化建設網絡結構設計方案 2015-052015-05 . . 目目 錄錄 第第 1 1 章章 總述總述.5 1.1 比亞迪公司數據中心網絡建設需求.5 1.1.1 傳統架構存在的問題.5 1.1.2 數據中心目標架構設計.6 1.2 數據中心設計目標.7 1.3 數據中心技術需求.8 1.3.1 整合能力.8 1.3.2 虛擬化能力.8 1.3.3 自動化能力.9 1.3.4 綠色數據中心要求.9 第第 2 2 章章 比亞迪網絡系統設計與實現比亞迪網絡系統設計與實現.10 2.1 比亞迪網絡系統概述現狀.10 2.2 改造后設計網絡系統概述.11 第第 3 3 章章 比亞迪網絡系統技術實現方式比亞迪網絡系統技術實現方式.14 3.1 綠色數據中心.14 3.2 局域網技術概況.15 3.3 服務器計算中心網絡結構.17 3.4 整合能力.18 3.4.1 一體化交換技術.18 3.4.2 無丟棄以太網技術.19 3.4.3 性能支撐能力.20 3.4.4 智能服務的整合能力.20 3.5 虛擬化能力.21 3.5.1 服務器虛擬化.22 3.6 自動化.22 第第 4 4 章章 比亞迪公司無線網絡接入網絡結構設計（建議）比亞迪公司無線網絡接入網絡結構設計（建議）.24 4.1 概述.24 4.2 無線部分設計.24 4.3 無線網絡性能設計.26 4.3.1 無線網絡的頻點覆蓋設計.30 4.3.2 天線的選擇.33 4.3.3 無線網絡系統的安全防護設計.37 第第 5 5 章章 網絡安全設計網絡安全設計.40 5.1 網絡安全部署思路.40 5.1.1 網絡安全整體架構.40 5.1.2 網絡平臺建設所必須考慮的安全問題.42 5.2 網絡設備級安全.42 5.2.1 防蠕蟲病毒的等 Dos 攻擊.42 5.2.2 防 VLAN 的脆弱性配置.43 . . 5.2.3 防止 DHCP 相關攻擊.44 5.3 網絡級安全.45 5.3.1 安全域的劃分.45 5.3.2 防火墻部署設計.46 5.3.3 防火墻策略設計.47 5.3.4 防火墻性能和擴展性設計.48 5.4 網絡的智能主動防御.50 5.4.1 網絡準入控制.50 5.4.2 桌面安全管理.51 5.4.3 智能的監控、分析和威脅響應系統.53 第第 6 6 章章 服務質量保證設計服務質量保證設計.57 6.1 服務質量保證設計分類.57 6.2 數據中心服務質量設計.57 6.2.1 帶寬及設備吞吐量設計.57 6.2.2 低延遲設計.59 6.2.3 無丟棄設計.60 6.3 非數據中心網絡的服務質量設計.61 6.3.1 QoS 實施方案.62 6.3.2 分析業務需求.63 6.3.3 QoS 策略的制定和部署.65 6.3.4 評測和調整.70 6.4 QOS 策略管理.71 6.4.1 QoS 自動配置.71 6.4.2 QoS 策略管理器解決方案.71 第第 7 7 章章 佳眾聯科技介紹佳眾聯科技介紹.74 7.1 技術支持服務原則.74 7.1.1 技術支持服務特色.74 7.2 技術支持服務目標.75 7.3 技術支持維護服務.75 7.3.1 技術服務工作流程.75 7.3.2 技術服務進度管理.76 7.3.3 技術服務文檔提交.77 7.4 設備保修維護服務.77 7.4.1 設備保修工作流程.77 7.4.2 設備保修進度管理.78 7.4.3 設備保修文檔提交.78 7.5 定期網絡巡檢服務.78 7.5.1 定期巡檢工作流程.78 7.5.2 定期巡檢進度管理.79 7.5.3 定期巡檢文檔提交.80 7.6 現場支持維護服務.80 7.6.1 現場服務工作流程.80 7.6.2 現場服務進度管理.81 . . 7.6.3 現場服務文檔提交.81 7.7 軟件升級維護服務.82 7.7.1 軟件升級工作流程.82 7.7.2 軟件升級進度管理.82 7.7.3 軟件升級文檔提交.83 7.8 售前技術支持服務.83 7.8.1 售前服務工作流程.83 7.8.2 售前服務進度管理.83 7.8.3 售前服務文檔提交.84 7.9 專業技術培訓服務.84 7.9.1 培訓服務工作流程.84 7.9.2 培訓服務進度管理.85 . . 第第 1 1 章章 總述總述 1.11.1 比亞迪公司數據中心網絡建設需求比亞迪公司數據中心網絡建設需求 1.1.11.1.1 傳統架構存在的問題傳統架構存在的問題 比亞迪公司現有數據中心網絡采用傳統以太網技術構建，隨著各類業務應用對 IT 需求的深入 發展，業務部門對資源的需求正以幾何級數增長，傳統的 IT 基礎架構方式給管理員和未來業務的 擴展帶來巨大挑戰。具體而言存在如下問題： 維護管理難：維護管理難：在傳統構架的網絡中進行業務擴容、遷移或增加新的服務功能越來越困難， 每一次變更都將牽涉相互關聯的、不同時期按不同初衷建設的多種物理設施，涉及多個 不同領域、不同服務方向，工作繁瑣、維護困難，而且容易出現漏洞和差錯。比如數據 中心新增加一個業務類型，需要調整新的應用訪問控制需求，此時管理員不僅要了解新 業務的邏輯訪問策略，還要精通物理的防火墻實體的部署、連接、安裝，要考慮是增加 新的防火墻端口、還是需要添置新的防火墻設備，要考慮如何以及何處接入，有沒有相 應的接口，如何跳線，以及隨之而來的 VLAN、路由等等，如果網絡中還有諸如地址轉換、 7 層交換等等服務與之相關聯，那將是非常繁雜的任務。當這樣的 IT 資源需求在短期內 累積，將極易在使得系統維護的質量和穩定性下降，同時反過來減慢新業務的部署，進 而阻礙公司業務的推進和發展。 資源利用率低：資源利用率低：傳統架構方式對底層資源的投入與在上層業務所收到的效果很難得到同 比發展，最普遍的現象就是忙的設備不堪重負，閑的設備資源儲備過多，二者相互之間 又無法借用和共用。這是由于對底層網絡建設是以功能單元為中心進行建設的，并不考 慮上層業務對底層資源調用的優化，這使得對網絡的投入往往無法取得同樣的業務應用 效果的改善，反而浪費了較多的資源和維護成本。 服務策略不一致：服務策略不一致： 傳統架構最嚴重的問題是這種以孤立的設備功能為中心的設計思路無 法真正從整個系統角度制訂統一的服務策略，比如安全策略、高可用性策略、業務優化 策略等等，造成跨平臺策略的不一致性，從而難以將所投入的產品能力形成合力為上層 業務提供強大的服務支撐。 因此，按傳統底層基礎設施所提供的服務能力已無法適應當前業務急劇擴展所需的資源要求， 本次數據中心建設必須從根本上改變傳統思路，遵照一種嶄新的體系結構思路來構造新的數據中 心 IT 基礎架構。 . . 1.1.21.1.2 數據中心目標架構設計數據中心目標架構設計 面向服務的設計思想已經成為 Web2.0 下解決來自業務變更、業務急劇發展所帶來的資源和成 本壓力的最佳途徑。從業務層面上主流的 IT 廠商如 IBM、BEA 等就提出了摒棄傳統的“面向組件 （Component）”的開發方式，而轉向“面向服務”的開發方式，即應用軟件應當看起來是由相互 獨立、松耦合的服務構成，而不是對接口要求嚴格、變更復雜、復用性差的緊耦合組件構成，這 樣可以以最小的變動、最佳的需求溝通方式來適應不斷變化的業務需求增長。鑒于此，比亞迪公 司數據中心業務應用正在朝“面向服務的架構 Service Oriented Architecture（SOA）”轉型。 與業務的 SOA 相適應，比亞迪公司提出支撐業務運行的底層基礎設施也應當向“面向服務”的設 計思想轉變，構造“面向服務的數據中心”（Service Oriented Data Center，SODC）。 傳統組網觀念是根據功能需求的變化實現對應的硬件功能盒子堆砌而構建企業網絡的，這非 常類似于傳統軟件開發的組件堆砌，被已經證明為是一種較低效率的資源調用方式，而如果能夠 將整個網絡的構建看成是由封裝完好、相互耦合松散、但能夠被標準化和統一調度的“服務”組 成，那么業務層面的變更、物理資源的復用都將是輕而易舉的事情。SODC 就是要求當 SOA 架構下 業務的變更，導致軟件部分的服務模塊的組合變化時，松耦合的網絡服務也能根據應用的變化自 動實現重組以適配業務變更所帶來的資源要求的變化，而盡可能少的減少復雜硬件的相關性，從 運行維護、資源復用效率和策略一致性上徹底解決傳統設計帶來的頑疾。 具體而言 SODC 應形成這樣的資源調用方式：底層資源對于上層應用就象由服務構成的“資源 池”，需要什么服務就自動的會由網絡調用相關物理資源來實現，管理員和業務用戶不需要或幾 乎可以看不見物理設備的相互架構關系以及具體存在方式。SODC 的框架原型應如下所示： . . 在圖中，隔在物理架構和用戶之間的“交互服務層”實現了向上提供服務、向下屏蔽復雜的 物理結構的作用，使得網絡使用者看到的網絡不是由復雜的基礎物理功能實體構成的，而是一個 個智能服務安全服務、移動服務、計算服務、存儲服務等等，至于這些服務是由哪些實 際存在的物理資源所提供，管理員和上層業務都無需關心，交互服務層解決了一切資源的調度和 高效復用問題。 SODC 和 SOA 構成的數據中心 IT 架構必將是整個數據中心未來發展的趨勢，雖然實現真正理想 的 SODC 和 SOA 融合的架構將是一個長期的歷程，但在向該融合框架邁進的每一步實際上都將會形 成對網絡靈活性、網絡維護、資源利用效率、投資效益等等方面的巨大改善。因此比亞迪公司本 次數據中心的網絡建設，要求盡可能的遵循如上所述的新一代面向服務的數據中心設計框架。 1.21.2 數據中心設計目標數據中心設計目標 在基于 SODC 的設計框架下，比亞迪公司新一代數據中心應實現如下設計目標： 簡化管理：簡化管理：使上層業務的變更作用于物理設施的復雜度降低，能夠最低限度的減少了物 理資源的直接調度，使維護管理的難度和成本大大降低。 高效復用：高效復用：使得物理資源可以按需調度，物理資源得以最大限度的重用，減少建設成本， 提高使用效率。即能夠實現總硬件資源占用量降低了，而每個業務得到的服務反而更有 充分的資源保證了。 . . 策略一致：策略一致：降低具體設備個體的策略復雜性，最大程度的在設備層面以上建立統一、抽 象的服務，每一個被充分抽象的服務都按找上層調用的目標進行統一的規范和策略化， 這樣整個 IT 將可以達到理想的服務規則和策略的一致性。 1.31.3 數據中心技術需求數據中心技術需求 SODC 架構是一種資源調度的全新方式，資源被調用方式是面向服務而非象以前一樣面向復雜 的物理底層設施進行設計的，而其中交互服務層是基于服務調用的關鍵環節。交互服務層的形成 是由網絡智能化進一步發展而實現的，它是底層的物理網絡通過其內在的智能服務功能，使得其 上的業務層面看不到底層復雜的結構，不用關心資源的物理調度，從而最大化的實現資源的共享 和復用。要形成 SODC 要求的交互服務層，必須對網絡提出以下要求： 1.3.11.3.1 整合能力整合能力 SODC 要求將數據中心所需的各種資源實現基于網絡的整合，這是后續上層業務能看到底層網 絡提供各類 SODC 服務的基礎。整合的概念不是簡單的功能增多，雖然整合化的一個體現是很多獨 立設備的功能被以特殊硬件的方式整合到網絡設備中，但其真正的核心思想是將資源盡可能集中 化以便于跨平臺的調用，而物理存在方式則可自由的根據需要而定。 數據中心網絡所必須提供的資源包括： 智能業務網絡所必須的智能功能，比如服務質量保證、安全訪問控制、設備智能管理等 等； 數據中心的三大資源網絡：高性能計算網絡；存儲交換網絡；數據應用網絡。 這兩類資源的整合將是檢驗新一代數據中心網絡 SODC 能力的重要標準。 1.3.21.3.2 虛擬化能力虛擬化能力 虛擬化其實就是把已整合的資源以一種與物理位置、物理存在、物理狀態等無關的方式進行 調用，是從物理資源到服務形態的質變過程。虛擬化是實現物理資源復用、降低管理維護復雜度、 提高設備利用率的關鍵，同時也是為未來自動實現資源協調和配置打下基礎。 . . 新一代數據中心網絡要求能夠提供多種方式的虛擬化能力，不僅僅是傳統的網絡虛擬化（比 如 VLAN、VPN 等），還必須做到： 交換虛擬化 智能服務虛擬化 服務器虛擬化 1.3.31.3.3 自動化能力自動化能力 自動化是 SODC 架構中上層自動優化的實現服務調用必須條件。在高度整合化和虛擬化的基礎 上，服務的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物理設施無關的進行分配 和整合，這樣我們只需要將一定的業務策略輸入給智能網絡的策略服務器，一切的工作都可以按 系統自身最優化的方式進行計算、評估、決策和調配實現。 這部分需要做到兩方面的自動化： 網絡管理的自動化 業務部署的自動化 1.3.41.3.4 綠色數據中心要求綠色數據中心要求 當前的能源日趨緊張，能源的價格也飛揚直上；綠地（綠地（GreenGreen FieldField）是我們每個人都關心的 議題。如何最大限度的利用能源、降低功耗，以最有效率方式實現高性能、高穩定性的服務是新 一代的數據中心必須考慮的問題。 . . 第第 2 2 章章比亞迪網絡系統設計與實現比亞迪網絡系統設計與實現 2.12.1 比亞迪網絡系統概述現狀比亞迪網絡系統概述現狀 如下圖所示，分析過后不難發現，網絡系統分散的比較開，每個業務系統都有自己獨立 的區域，幾乎可以成為每個業務系統都有自己獨立的環境，這種方式在系統維護上造成了很大的 成本浪費和人工浪費。 按照第二章程描述的一些網絡系統架構設計的理念來看，可以先將業務系統做一次大整合， 將所有系統都部署在同一個區域內，此區域獨立出來專門提供業務服務的接入，再以后的業務發 展規劃上考慮，以后新業務也可以部署在本區域內。 網絡的外聯也是比較多的，和服務器一樣的情況是分散的比較開，也可以考慮將需要外聯的 業務及鏈路整合到一起，獨立出來一個區域，將其專門的接入外聯鏈路業務，在接入外聯業務后 經過一道或多道防火墻后才能進去其他區域訪問服務器或終端。 經過對網絡系統拓撲分析，首先推薦的網絡優化方案是將現有網絡系統上的業務整合，然 后分區，每個區域都有自己不同的功能，每個區域負責自己的功能，在管理及維護系統時，判斷 問題故障有一個直觀的判斷及故障目標鎖定的好處。 數據集中的需求 滿足全行數據集中的需要，網絡骨干需要具有高速交換效率、高穩定性、高可靠性和可伸縮 . . 性，適應拓撲結構的變化。 業務隔離的需求 根據業務特點和重要級別，不同業務之間要求相互安全隔離，可以為不同的業務或應用系統 分配不同的 IP 網段，并在各網段之間實現業務的隔離。如業務系統可劃分業務網段、辦公自動 化網段、外接業務網段、語音網段、視頻網段等，明確各類業務的優先級，從而在邏輯上將各類 業務分開，并保證其可靠傳輸。 網絡分區的需求 為簡化網絡中各部分的相關性，便于網絡的實施及運維管理，在網絡的構建中，通過定義不 同的功能模塊，將整體網絡分為多個不同的功能區域，通過清晰定義不同功能區域的應用，來實 現整體網絡結構的可靠性、可擴展性、高可用性等。 可管理性的需求 網絡的安全穩定運行離不開有效的管理，在設計時要求充分考慮網絡的可管理性，要求能實 現對包含網絡設備、應用程序、服務器、數據庫、存儲、SAN 交換機等所有設備的管理,。采用兩 級網管模式：集中監控、分權管理。即在數據中心建立網管中心，統一調度網絡資源，各責任人 管理所屬機構網絡，形成覆蓋全行的分布式網絡管理系統。 2.22.2 改造后設計網絡系統概述改造后設計網絡系統概述 根據現有網絡系統現有業務，可以將網絡系統分布成為一下幾個區域： 互聯網互聯網/VPN/VPN 接入區接入區 負責外聯分支結構接入、vpn 撥入、互聯網訪問，以現有網絡系統 中心業務服務器區中心業務服務器區 一線生產業務服務器合并到一個區域接入、VMs 和小機接入工作，如果業務不同分工的訪 問需求可以使用 vlan 技術將部分不同訪問級別的業務隔離，配合 acl 的控制來進行業務 級別隔離。 存儲區存儲區 提供系統服務器的存儲工作，負責數據災備工作。如果部署服務器虛擬化或桌面虛擬化 本區域是必不可少的一個區域。 . . 無線控制區（推薦）無線控制區（推薦） 負責廠區、辦公樓，等等地區的 AP 接入控制工作，統一的管理 AP 工作 網絡管理區（推薦）網絡管理區（推薦） 負責數據中心網絡管理工作 廠區接入區廠區接入區 廠區和辦公樓的終端、手持掃描器、手機等等終端的接入工作 不同的區域根據業務的不同都有不同的訪問需求，將各個區域互聯起來，最方便管理及高 可靠性考慮，使用防火墻是最為妥當的設備。如今業界稱之為 下一代防火墻的性能及處理能力以 及是上一代防火墻的好幾十倍，在網絡轉發，會話聯立，會話半開，會話全開等等性能上也提升 了好多。所以核心位置部署兩臺核心防火墻。 在現有網絡系統中是有很多防火墻接入到了 25M 的電信互聯網線路上，當經過分析發現其 實都是有同一根電信的鏈路分支出來來的不同 IP 地址來提供服務，其實是可以將此部分整合成為 2 個防火墻 A/S 結構，來提供互聯網訪問/發布服務。整合后通過技術策略保持原有的安全服務可 以保持原樣不變。 整合所有部署的服務器都歸納為服務區去，或許此部分是工作量最大的一個動作，但是規劃 . . 的執行起來也沒有那么復雜，通過 vlan 及 ACL、route-map 等策略可以保證到原有服務器享有的 安全及被訪問策略。在服務區如果考慮高可靠性的時候，建議采購新服務器核心交換機，對于服 務器現對出一種 DCE（無丟包）交換機，可以對服務器連接交換機可靠性。 根據以上新一代數據中心網絡的技術要求，必須對傳統數據中心所使用的常規以太網技術進 行革新，數據中心級以太網（Data Center Ethernet，簡稱 DCE）技術由此誕生。 DCE 之前也被一些廠商稱為匯聚型增強以太網技術（Converged Enhanced Ethernet，簡稱 CEE），是兼容傳統以太網協議并按新一代數據中心的傳輸要求，對其進行全面革新的一系列標準 和技術的總稱。因此，為達到比亞迪公司的新一代數據中心的建設目標，必須摒棄傳統以太網技 術，而采用新一代的 DCE（CEE）技術進行組網。 . . 第第 3 3 章章比亞迪網絡系統技術實現方式比亞迪網絡系統技術實現方式 分布匯聚層和接入層之間使用交換端口，實現二層交換。如前所述，當前的主流虛擬機軟件， 如 VMware、Virtual Server 等都需要在二層交換下實現虛擬機遷移，因此在數據中心接入層使用 二層交換將方便虛擬機的遷移和調度。當前由于 Cisco 獨特的 VSS 虛擬交換機技術和 vPC 跨設備 端口捆綁技術的使用，可以實現在二層結構下完全沒有環路，從根本上解決了生成樹算法收斂慢、 不穩定、故障多的問題，也使得在一個數據中心內二層結構下的可擴展性與三層結構沒有根本的 區別。如下圖所示，只要經過適當設計，本項目接入層的二層部分將沒有環路，快速生成樹算法 將只用于在誤操作等極端情況下的防范手段。 當 IEEE 的