1、中國東盟信息港老撾云實施方案文檔屬性文件修訂序號版本號簡明修訂日期變更人審核人備注1V1.0Init.20180829工2V1.13V1.24V1.35V1.46V1.5屬 性內(nèi) 容級別文檔級別文檔編 寫 人EasyStack 東信-老撾項目小組審 核 人目錄1東信-老撾項目方案概述41.1.東信-老撾云建設(shè)目標41.2.東信-老撾云建設(shè)基本原則41.3.東信-老撾云整體規(guī)劃42東信-老撾項目實施規(guī)劃72.1.機柜整體規(guī)劃72.2.節(jié)點命名規(guī)則73東信-老撾云網(wǎng)絡(luò)設(shè)計93.1.設(shè)計原則93.2.網(wǎng)絡(luò)規(guī)劃103.3.網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計123.4.流量流向134東信-老撾云設(shè)計164.1.分布式設(shè)計16

2、5東信-老撾云安裝185.1.項目實施步驟185.2.云部署服務(wù)器設(shè)置195.3.IP 修改196東信-老撾云計算部署256.1.創(chuàng)建部署環(huán)境256.2.加載物理機-角色266.3.配置網(wǎng)絡(luò)環(huán)境276.4.配置物理磁盤306.5.驗證網(wǎng)絡(luò)316.6.執(zhí)行部署操作321東信-老撾項目方案概述1.1.東信-老撾云建設(shè)目標東信-老撾云基于開源的云計算技術(shù)、資源統(tǒng)調(diào)技術(shù)和容器管理技術(shù)，實現(xiàn)對硬件抽象、資源統(tǒng)調(diào)、容器管理及系統(tǒng)管理四大功能方向的設(shè)計研發(fā)，通過對數(shù)據(jù)中心 IT 資源（服務(wù)器、磁盤陣列、網(wǎng)絡(luò)設(shè)備等物理資源和虛擬機、容器等虛擬資源）的標準化封裝，按需進行彈性調(diào)度，實現(xiàn)為業(yè)務(wù)應(yīng)用提供多合一的 I

3、T 運行環(huán)境，保障公司業(yè)務(wù)應(yīng)用的高效、穩(wěn)定的運行。本項目建設(shè)的主要目標是按照信息系統(tǒng)安全要求，完成東信-老撾云操作系統(tǒng)項目一期內(nèi)容的建設(shè)，滿足客戶目前和未來的上云需求，以及未來日益膨脹的信息化服務(wù)要求。1.2.東信-老撾云建設(shè)基本原則1.“先進性”原則基于業(yè)界通用開放性標準，采用先進成技術(shù)，遵循緊密結(jié)合電網(wǎng)企業(yè)自身特點，使系統(tǒng)能夠滿業(yè)務(wù)應(yīng)用的需求，同時適應(yīng)未來一段時間業(yè)務(wù)需求及發(fā)展變化的需要。2.“經(jīng)濟性”原則嚴格遵照實用、經(jīng)濟的原則，盡量利用現(xiàn)有資源，堅持在先進、高性能前提下合理投資，保證成本最佳的前提下獲得最大的經(jīng)濟效益和社會效益。3.“易用性”原則采用模塊化設(shè)計，界面友好、易用，便于管理

4、進行直觀的操作和管理。1.3.東信-老撾云整體規(guī)劃在東信-老撾 ESCloud 云部署環(huán)境中，為所有類型節(jié)點提供了橫向擴展的能力，系統(tǒng)具備高度的可擴展性和可升級能力，便于用戶對于 ESCloudOpenStack 環(huán)境的日后升級和改造。東信-老撾 ESCloud 最終交付部署環(huán)境邏輯示意圖如下：圖：ESCloud OpenStack 部署環(huán)境邏輯示意圖云部署階段邏輯架構(gòu)圖如下：環(huán)境中各節(jié)點組件規(guī)劃及功能描述如下：部署節(jié)點：1 臺虛擬機服務(wù)器（由實施提供），運行 ESCloud 云計算環(huán)境部署節(jié)點 Roller 虛擬機。ESCloud Roller 封裝了操作系統(tǒng)自動部署工具和系統(tǒng)配置管理工具，

5、同時為企業(yè)級客戶提供封裝好的基于圖形化一鍵式快捷安裝方法，通過極少的用戶輸入，即可快速完成云環(huán)境中控制節(jié)點、計算節(jié)點、節(jié)點以及 HA 服務(wù)等關(guān)鍵組件的部署，可在幾小時內(nèi)完成上百臺節(jié)點的環(huán)境搭建。控制節(jié)點：3 臺物理服務(wù)器，用于運行管理云所有的關(guān)鍵服務(wù)，如 Nova、Cinder、Neutron、Horizon、Swift、Heat、Ceilometer 等服務(wù)，以及各項關(guān)鍵服務(wù)運行所需的消息隊列服務(wù) RabbitMQ 集群，數(shù)據(jù)庫和 MongoDB 數(shù)據(jù)庫服務(wù)集群（控制節(jié)點架構(gòu)詳述參見上文 ESCloud 控制節(jié)點高可用設(shè)計架構(gòu)圖）。ESCloud 提供控制節(jié)點無限擴展能力，為防止腦裂，至少支

6、持=3，可奇數(shù)臺控制節(jié)點擴展，提高負載均衡和高可用實現(xiàn)。同時為保障系統(tǒng)的靈活性，ESCloud 還可提供控制節(jié)點上各種服務(wù)項目的可拆分性，如拆分網(wǎng)絡(luò)服務(wù)到單獨的物理節(jié)點之上。計算融合節(jié)點：10 臺物理服務(wù)器，計算組件是運行 Hypervisor 虛擬化層提供計算能力的載體，ESCloud 的計算節(jié)點支持多種虛擬化技術(shù)如 KVM、Vmware、XEN、Hyper-V 及erVM。在保證卓越計算性能的前提下，ESCloud 提供 HostHA、VM HA 以及虛擬機的遷移和離線遷移等高級功能,分布式組件采用基于開源 Ceph 技術(shù)優(yōu)化后的 Server SAN系統(tǒng)，提供超融合計算節(jié)點的部署方式。E

7、SCloud 提供計算、節(jié)點水平無限擴展能力，節(jié)點擴展的同時不影響業(yè)務(wù)的正常運行，系統(tǒng)不停機，保障業(yè)務(wù)的連續(xù)性。ESCloud 云設(shè)計有 6 類網(wǎng)絡(luò)，分別是管理網(wǎng)（千兆），Private 網(wǎng)絡(luò)（萬兆），L3 Public（萬兆），Ceph網(wǎng)（萬兆）、Ceublic 網(wǎng)絡(luò)（萬兆），部署和物理機（千兆）。考慮到系統(tǒng)組網(wǎng)的高可用性實現(xiàn)，建議每類網(wǎng)絡(luò)至少配置 2 個物理網(wǎng)口，兩兩綁定實現(xiàn)高可用。其中某些類網(wǎng)絡(luò)可視業(yè)務(wù)負載和用戶實際網(wǎng)絡(luò)環(huán)境做靈活調(diào)整及合并，如大多數(shù)情況下可以將管理網(wǎng)和 CephPublic 網(wǎng)絡(luò)合并。2東信-老撾項目實施規(guī)劃2.1.機柜整體規(guī)劃考慮到云的高可用與未來升級擴容，相同角色的

8、節(jié)點應(yīng)盡可能分布到不同臺機柜中。當任一機柜供電故障或發(fā)生其它不可預知的情況時，部署在其中的物理機會宕機，但不會影響整個的，虛擬機或者數(shù)據(jù)可以遷移至其它在不同機柜中的節(jié)點。擬規(guī)劃云部署在兩個不同機柜中，本次建設(shè)期間涉及的相關(guān)硬件（13 臺服務(wù)器、2 臺千兆交換機、2 臺萬兆交換機）部署如下圖紅色方框中，未來擴容設(shè)備可逐步添加進來。圖：機柜分布圖機柜頂端部署兩臺堆疊 48 口萬兆交換機及兩臺堆疊 48 口千兆交換機（兼容千兆端口），用于云計算節(jié)、與控制節(jié)點和節(jié)點的網(wǎng)絡(luò)接入使用。機柜內(nèi)服務(wù)器千兆端口及萬兆網(wǎng)口都通過 LACP 進行邏輯，提高網(wǎng)絡(luò)層面的高可用。2.2.節(jié)點命名規(guī)則控制節(jié)點node-1、

9、node-2、node-3計算、融合節(jié)點node-4、node-5、node-6node-13部署節(jié)點ROLLER3東信-老撾云網(wǎng)絡(luò)設(shè)計云操作系統(tǒng)提供網(wǎng)絡(luò)管理組件，提供定義網(wǎng)絡(luò)功能，可對云操作系統(tǒng)網(wǎng)絡(luò)進行自定義，包括劃分交換機路由器、VLAN 等，通過網(wǎng)絡(luò)服務(wù)提供網(wǎng)絡(luò)隔離、通信與管理。3.1.設(shè)計原則3.1.1 高可靠每臺管理服務(wù)器主機上規(guī)劃使 2 個千兆網(wǎng)口和 2 個萬兆網(wǎng)口，每臺計算、服務(wù)器主機上規(guī)劃使 2 個千兆網(wǎng)口、4 個萬兆網(wǎng)口，為了提高云的穩(wěn)定性及可靠性，云的網(wǎng)絡(luò)流量均承載于通過物理網(wǎng)卡雙綁定而成的邏輯接口之上，Bond 角色如下表所示：保障網(wǎng)絡(luò)鏈路成雙，提高網(wǎng)絡(luò)吞吐的同時增加網(wǎng)絡(luò)

10、冗余能力，避免單鏈路故障問題。3.1.2 網(wǎng)絡(luò)分離云操作系統(tǒng)中有管理、業(yè)務(wù)、私有和部署共五種流量，采用邏輯分離的原則，提高性，避免網(wǎng)絡(luò)之間相互干擾。IPMI智能管理接口， 用戶物理服務(wù)器的和帶外管理。PXE預啟動執(zhí)行環(huán)境，用于云基礎(chǔ)環(huán)境（操作系統(tǒng)和相關(guān)）的部署。Mgmt服務(wù)器角色網(wǎng)口Bond角色控制節(jié)點Eth0+eth1bound0PXE+Public+MgmtEth2+eth3bound1Private+Ceublic計算節(jié)點2 x1G 網(wǎng)口bound0PXE+Mgmt2x10G 網(wǎng)口bound1Private+ceublic2x10G 網(wǎng)口Bound2Ceph數(shù)據(jù)網(wǎng)Management 管

11、理端口，用于承載控制節(jié)點與計算節(jié)點之間管理流量，如物理資源的管理，虛擬機的遷移等。Public用于云DashBoard，外部云地址，各組件 Public。Private業(yè)務(wù)網(wǎng)，用于虛擬機業(yè)務(wù)數(shù)據(jù) VxLAN 隧道，承載業(yè)務(wù)系統(tǒng)的業(yè)務(wù)流量，是虛機業(yè)務(wù)使用的網(wǎng)絡(luò)。ceph數(shù)據(jù)網(wǎng)網(wǎng)，Ceph管理和副本，用于分布式節(jié)點之間的數(shù)據(jù)同步。ceublic （本期建設(shè)中沒有使用）Ceph 對外提供服務(wù)的網(wǎng)絡(luò)以及 Controller 和 ComputeCeph。3.2.網(wǎng)絡(luò)規(guī)劃網(wǎng)絡(luò)類型VLAN ID網(wǎng)段網(wǎng)關(guān)用途備注PXE 部署網(wǎng)絡(luò)1001/2454安裝Mgmt 管理網(wǎng)絡(luò)1002/2454節(jié)點間管理Public

12、 網(wǎng)絡(luò)100-144054管理員網(wǎng)絡(luò)Private 網(wǎng)絡(luò)1010VLAN ID 需與實際生產(chǎn)網(wǎng)絡(luò)一致1040IPMI 網(wǎng)絡(luò)1100/2454IPMI 帶外管理網(wǎng)絡(luò)1003/2454網(wǎng)絡(luò)各節(jié)點網(wǎng)絡(luò)規(guī)劃：生產(chǎn)環(huán)境節(jié)點類型數(shù)量 /臺網(wǎng)絡(luò)接口網(wǎng)絡(luò)角色網(wǎng)絡(luò)地址vlan 號碼交 換機 模式備注說明控制節(jié)點32*1GPXE-4/241001trunknativemgmt-4/241002public 和 private 需要 配置 gw，其他均為二層網(wǎng)絡(luò)public(客戶提供)100( 客 戶 提供)2*10GPrivate(客戶提供)2001trunkCephpublic1004計算節(jié)點102*1GPXE

13、-8/24101trunknativemgmt-8/24102private 需要 配置 gw，其他均為二層網(wǎng)絡(luò)2*10GPrivate(客戶提供)2001trunk2002Ceph 服務(wù)網(wǎng)絡(luò)/2410042*10GCeph 內(nèi)部網(wǎng)絡(luò)/241003trunk安裝部署11*1GPXE/24101acs1*1Gpublic(客戶提供)服務(wù)網(wǎng)絡(luò)1004/2454服務(wù)網(wǎng)絡(luò)3.3.網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計業(yè)務(wù)網(wǎng)路結(jié)構(gòu)設(shè)計如下：圖：業(yè)務(wù)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計為了實現(xiàn)租戶網(wǎng)絡(luò)、不同 VLAN 之間、虛擬機安全等功能，虛擬機業(yè)務(wù)出向及入向流量需經(jīng)過一列虛擬網(wǎng)絡(luò)設(shè)Linux Bridge 及 Open vSwtich。二層流量的轉(zhuǎn)發(fā)

14、通過 Open vSwtich 實現(xiàn)，由于 Open vSwtich 無法支持 iptables功能，所以在虛擬機和 Open vSwitch 層之間架設(shè)了 Linux Bridge，Linux Bridge 所在 network namespace 中可以添加 iptables 規(guī)則，實現(xiàn)在虛擬機級別的網(wǎng)絡(luò)防護，從的角度稱作為安全組。Linux Bridge 確實可以實現(xiàn)二層轉(zhuǎn)發(fā)，但是其功能有限，無法支持 VLAN 等功能，對于當前網(wǎng)絡(luò)需求支持有限，故主要依靠 Open vSwtich 實現(xiàn)二層功能。如上圖知，在業(yè)務(wù)網(wǎng)絡(luò)層面，疊加了多臺 Open vSwitch。最上層 br-用于接入虛擬機

15、，中間層 br-prv 用于轉(zhuǎn)換，底層 br-ethx 用于物理層轉(zhuǎn)發(fā)。Open vSwitch 可以支持 VLAN，但是對于多租戶環(huán)境來說，VLAN的顆粒度是不夠的。不同租戶的虛擬機可以處于同一 VLAN，但是根據(jù)租戶的概念它們是無法通信的。以上需求通過和外部的機制實現(xiàn)，br-承載的流量所攜帶的為標簽，所以當不同租戶的虛擬機處于同一 VLAN 時，在 br-會為其標記上不同的標簽，當流量傳輸至 br-prv 時，根據(jù) Open vSwitch 的 flow 轉(zhuǎn)，會被轉(zhuǎn)換成物理交換機也認可的外部。對于入向流量，過程相反。不同層次的 Open vSwtich 分工明確、作用單一，可極大提高二層網(wǎng)

16、絡(luò)的性能，也便于網(wǎng)絡(luò)排錯。另外，根據(jù)業(yè)務(wù)需求，業(yè)務(wù)網(wǎng)絡(luò)的網(wǎng)關(guān)將設(shè)置在機柜頂部的三層交換機之上，內(nèi)虛擬機與外部網(wǎng)絡(luò)通信時通過三層交換機實現(xiàn)路由，通過這樣的方式可避免 NAT 及Floating IP 帶來的 IP 地址的消耗。同時行情接收服務(wù)器需要接受行情信息時，可通過物理三層網(wǎng)關(guān)實現(xiàn)組播轉(zhuǎn)發(fā)，避免組播帶給網(wǎng)絡(luò)節(jié)點過大的壓力，影響的穩(wěn)定性。DHCP功能仍有控制節(jié)點提供。3.4.流量流向同一服務(wù)器相同 VLAN圖：同一服務(wù)器相同VLAN 流量流向不同服務(wù)器相同 VLAN圖：不同服務(wù)器相同VLAN 流量流向與外部通信圖：與外部通信流量流向不同服務(wù)器不同 VLAN圖：不同服務(wù)器不同VLAN 流量流向4

17、東信-老撾云設(shè)計4.1.分布式設(shè)計云支持部署分布式，采用基于 ceph 架構(gòu)，設(shè)計部署的Ceph可基于 SAS盤，通用部署架構(gòu)如下：圖：Ceph 架構(gòu)圖SAS池的 Ceph Monitor安裝在三臺控制節(jié)點，并做了集群，保證Monitor 的高可用。南北向為 Ceublic 流量，為 Ceph通信流量和外部 cntCeph進行讀寫的流量。東西向為 CephCluster 流量，副本的同步、OSD down 以及 HOST down 機時發(fā)生的 rebalance 流量。副本數(shù)為三份，三份數(shù)據(jù)會分別落在不同主機的 OSD 上，保證數(shù)據(jù)的安全性。本方案中容量型采用 1.8TB 的 SAS 盤作為

18、Ceph OSD，由于 SAS 的性能較低，采用 SSD 作為 OSD 的日志盤。由于 Ceph 每次操作都要先將描述寫入日志，然后才把操作應(yīng)用到文件系統(tǒng)，以此提高讀寫性能。Ceph 日志盤和數(shù)據(jù)盤的比率是 1:4。5東信-老撾云安裝5.1.項目實施步驟服務(wù)名稱服務(wù)描述硬件上架、電源環(huán)境測試、硬件開機檢驗測試服務(wù)器硬件上架檢查電源狀況、電源接口是否與要求匹配硬件電源通電測試、確認是否存在 DoA（到貨即損）情況按照拓撲進行網(wǎng)線連接管理、生產(chǎn)、部署網(wǎng)絡(luò)硬件開機測試，檢查硬件配置和進行 firmware 升級硬件節(jié)點配置所有節(jié)點 BIOS 配置禁用 UEFI，使用 legacy only調(diào)整 PX

19、E 為第一啟動項，服務(wù)器第一個網(wǎng)卡（eth0）為 PXE 啟動網(wǎng)卡，其他網(wǎng)卡禁用 PXE 啟動調(diào)整硬盤為第二啟動項Controller 節(jié)點 RAID 配置；2*300GB 硬盤做 RAID1計算+節(jié)點 RAID 配置；2*300GB 硬盤做 RAID1, 其余硬盤做 JBOD或者每塊硬盤單獨做 Raid0網(wǎng)絡(luò)配置將服務(wù)器和上聯(lián)交換機連接提供 4 個 vlan，分別作為 PXE、Management、storage、public.并且不與現(xiàn)有網(wǎng)絡(luò)開放 1000-1030vlan 給 private，如果 vlan 號，則可以更換其它將所有的 IPMI 口連接到千兆交換機，并配置 IP 地址能夠

20、從內(nèi)網(wǎng)中訪問Rolller 節(jié)點安裝（可以為EasyStack 工Roller 操作系統(tǒng)安裝將控制節(jié)點依次重啟，然后將計算+節(jié)點依次重啟給所有節(jié)點分配角色，并做環(huán)境預配置5.2.云部署服務(wù)器設(shè)置云操作系統(tǒng)在小規(guī)模部署中可以安裝在筆記本的虛機中，可以節(jié)省客戶資源，不需要單獨一臺部署機，但是部署服務(wù)器要保存，方便以后擴展。一般數(shù)臺甚至十數(shù)臺節(jié)點的測試或正式環(huán)境中可以安裝在筆記本中，一般需要2vcpu，4G RAM 以上配置，安裝過程大概一個小時多一點。部署文件是一個 iso，安裝時需要先在筆記本創(chuàng)建一臺虛機(過程略)，將部署文件的IS像加載到虛機，設(shè)置從 CD-ROM 啟動，然后虛機會開啟自動安裝

21、，整個過程無需手動干預，直至自動安裝完成。5.3.IP 修改如果需要修改部署服務(wù)器中 IP 地址或者修改 PXE 網(wǎng)段，則需要在安裝過程中按照提示按任意鍵來 setup。加載 ISO 后開始安裝操作系統(tǒng)，在第一次重啟之后，大概幾分鐘就會彈出如下界面，此時點擊鍵盤任意鍵，進入設(shè)置界面。筆記本或者是客戶現(xiàn)場一臺服務(wù)器）環(huán)境檢查，包括網(wǎng)絡(luò)、磁盤、角色通過 Roller 開始自動安裝部署，首先安裝操作系統(tǒng)，然后安裝ESCloud 并配置ESCloud性能調(diào)優(yōu)，整體測試ESCloud 現(xiàn)場演示圖：設(shè)置界面若鍵入成功，提示如下：圖：設(shè)置成功界面進入設(shè)置界面，這里可以修改部署服務(wù)器的主機地址和網(wǎng)關(guān)，設(shè)置完成

22、后建議檢查一遍。圖：設(shè)置檢查界面這里是修改 IP 地址分配池，先說下面的 128-254 是節(jié)點第一次重啟后進入到bootstrap 系統(tǒng)所獲取到的 IP 地址池，用于發(fā)現(xiàn)；上面這個 3-127 地址是在分配角色之后，第二次重啟，即安裝好 Centos 系統(tǒng)之后正式的 IP 地址。修改完成后建議檢查一遍。圖：設(shè)置再次檢查界面這里可以修改部署服務(wù)器的主機名和 DNS 等信息。圖：部署服務(wù)器主機名和DNS 修改界面設(shè)置時鐘。圖：時鐘設(shè)置界面設(shè)置部署服務(wù)器的 root，默認是 root/passw0rd。圖：用戶名設(shè)置界面這里是修改部署服務(wù)器WEB 的登陸界面的用戶名和，默認 admin/admin

23、。圖：Web 登錄界面用戶名設(shè)置界面這里已經(jīng)設(shè)置結(jié)束了，然后保存退出，來繼續(xù)安裝。圖：保存退出界面看到下面已經(jīng)繼續(xù)安裝了，重點是下面的“no errors found”，如果提示報錯，務(wù)必解決。其實只要主機 IP 地址和兩個地址池都在一個網(wǎng)段，地址不，不會報錯。圖：部署報錯提示界面6東信-老撾云計算部署6.1.創(chuàng)建部署環(huán)境(1)按照規(guī)劃配置交換機并將服務(wù)器和部署服務(wù)器接入網(wǎng)絡(luò)；(2)安裝文件安裝在筆記本的虛機上，筆記本網(wǎng)卡位于 PXE 網(wǎng)絡(luò)，且將部署虛機設(shè)為橋接模式；(3)在筆記本上打開瀏覽器（注：最好為 Chrome），在地址欄輸入：:8000，這是默認 IP，彈出部署服務(wù)器的 UI 登陸界

24、面，輸入默認用戶名和：admin；(4)進入到圖形化操作界面，此時沒有任何可用資源。你可以點擊右上角“admin”的設(shè)置，來登出、修改或者設(shè)置字符集操作；(5)接下來創(chuàng)建云操作系統(tǒng)部署環(huán)境，單機上圖左上角的“創(chuàng)建云”開始部署的第一步。在新的彈窗進行需求設(shè)定：首先設(shè)定一個“名稱”，這不會體現(xiàn)在云操作系統(tǒng)上，可以任意取名；“release”對于云操作系統(tǒng)目前已經(jīng)支持版本運行在 CentOS 7 上，建議選擇centos7；“云類型”是指控制節(jié)點的部署類型，這里有“HA”和“Multinode”兩種類型，Multinode 是指單控多節(jié)點，而 HA 則是至少三個控制節(jié)點的冗余設(shè)定，一般優(yōu)先用于生產(chǎn)環(huán)

25、境（之所以要求至少三個控制節(jié)點是為了防止腦裂的發(fā)生，控制節(jié)點必須為奇數(shù)）；網(wǎng)絡(luò)組件默認部署在控制節(jié)點；“段類型”分為 VLAN 和 GRE，建議選擇 VLAN，生產(chǎn)環(huán)境測試更穩(wěn)定、高效；“Storage Mode”為分布式和 LVM 兩種類型，適用于實際應(yīng)用場景；在選定所有參數(shù)后，單擊右下角的“創(chuàng)建環(huán)境”按鈕來創(chuàng)建部署環(huán)境。切換上方的“云”和“管理”按鈕，然后看到云操作系統(tǒng)的預配置環(huán)境，到這里部署服務(wù)器已經(jīng)開啟了 DHCP、TFTP 等服務(wù)，所以注意此環(huán)境一定不能存在其他 DHCPServer，否則會產(chǎn)生。6.2.加載物理機-角色依次開啟物理主機，物理主機加電，以 PXE 形式啟動（最好之前已

26、經(jīng)設(shè) PXE 為第一啟動），然后主機會獲得 IP 地址并加載 bootstrap 系統(tǒng)，等大約十幾二十分鐘，刷新頁面，在 UI 的中間下方的空閑節(jié)點可以看到已經(jīng)加載到云環(huán)境的物理主機，可以看到諸如下圖顯示的 MAC 地址、CPU、MEM 以及 NIC 等相關(guān)信息，可以依次來判斷對應(yīng)的物理主機。圖：加載云環(huán)境物理主機列表等所有主機都加載進來之后，開始分配角色，在此環(huán)境中可以根據(jù)磁盤的大小或者CPU、MEM 的大小來判斷是 Controller 還是 Compute 節(jié)點，比如環(huán)境 Controller 節(jié)點只有300G 硬盤，而 Compute 節(jié)點有 1T 磁盤，選勾選 300G 磁盤的三個節(jié)

27、點，然后單擊上方的添加節(jié)點，在新的彈窗選擇相應(yīng)的選項，本次環(huán)境選擇 Controller+mongo；然后同樣的添加Compute 節(jié)點，選擇 Compute+ceph-osd，單擊應(yīng)用變更。“controller”選中此角色表明該 server 為控制節(jié)點；“compute”選中此角色表明該 server 為計算節(jié)點；“服務(wù)”該角色可以提供基于 LVM 的服務(wù)，通常和計算節(jié)點一起選擇，支持 SAN 和 ISCSI；“ceph-osd”該角色說明使用分布式ceph 來提供空間，通常和計算節(jié)點在同一 server，但是建議磁盤獨立使用；“mongo”選中該角色表明云操作系統(tǒng)使用計費模塊，其數(shù)據(jù)在

28、 mongoDB 中，通常和 controller 節(jié)點安裝在同一 server；“zabbix-server”是云操作系統(tǒng)下的一款，需要單獨安裝，并進行大量定制，為可選項。添加完節(jié)點后，可以在“節(jié)點”欄中部區(qū)域看到已經(jīng)添加的 server，包含名字、狀態(tài)、管理 IP、硬件信息、預處理狀態(tài)和狀態(tài)等信息。“名字”這是為了方便識別的一種表示，可修改；“當前狀態(tài)”表明此時 server 進行的階段；“角色”此時還是預處理階段所以，沒有顯示，等進行部署時可看到變化；“管理 IP”暫時由部署服務(wù)器分配的管理 IP 地址；“預處理狀態(tài)”是 server 分配的角色，現(xiàn)在只是準備階段，還未正式部署；“”表明

29、該 server 是否可管理；“IPMI”管理端口 IP，硬件管理端口，可以在只加電的情況下進行管理；“硬件信息.”這里顯示了該 server 的 CPU、DISK、MEM、NIC 等信息；“批量配置網(wǎng)卡”因為大多數(shù)情況下 server 或相同角色的網(wǎng)絡(luò)配置相同，所以為了方便管理和高效，支持批量來設(shè)定網(wǎng)絡(luò)角色，例如本環(huán)境中所有 server都擁有四張網(wǎng)卡且網(wǎng)卡角色一致，所以只需要使用批量配置網(wǎng)卡依次配置完成，節(jié)約大量時間；“批量配置磁盤”作用同上，提高效率。6.3.配置網(wǎng)絡(luò)環(huán)境接下來需要配置磁盤和網(wǎng)絡(luò)信息；先進行網(wǎng)卡的設(shè)置。點擊上圖中上方的“批量配置網(wǎng)卡”，可以看到目前網(wǎng)卡的角色分配，然后單擊

30、“分配網(wǎng)絡(luò)角色”來重新分配角色。如果是生產(chǎn)網(wǎng)絡(luò)為了增加冗余性，強烈建議使用“網(wǎng)絡(luò)”來做端口綁定，防止單點。圖：網(wǎng)卡設(shè)置界面在新彈窗中，按照之前的規(guī)劃來分配網(wǎng)絡(luò)角色，其中 roller 是固定的，其他任意分配，要注意不同角色在不同網(wǎng)卡中的配置可能需要配置上行的交換機端口，private 端口的上行端口必須為 Trunk，allow 1000-1030，其他根據(jù)實際情況配置，本次環(huán)境按照之前規(guī)劃配置即可，然后單擊“應(yīng)用變更”。圖：分配網(wǎng)絡(luò)角面然后再次確認分配好的網(wǎng)絡(luò)角色。圖：分配網(wǎng)絡(luò)角色列表網(wǎng)絡(luò)角色定好，可以配置各網(wǎng)絡(luò)的 IP 和 VLAN 信息了。單擊左邊欄的“網(wǎng)絡(luò)”可以看到現(xiàn)行網(wǎng)絡(luò)的角色和 IP 地址信息，PXE 網(wǎng)絡(luò)無法更改。如需修改 IP 地址信息，點擊右邊的“更新”按鈕。在彈出窗口，可以修改對應(yīng)網(wǎng)絡(luò)角色的 IP 地址信息。VLAN tag 信息按照之前規(guī)