1、深刻理解 老外體會思科 UCS 刀片 (組圖 ) 革命性的、前沿的、尖端的等，這些都是用來形容 IT 領域中很多產品的詞匯，但是后來們這些產品卻變成 了無用的、普通的、不稀奇的。事實上，真正革命性的產品很少見。盡管如此，思科 UCS( 統一計算系統 ) 卻能符合這個要求。為了能夠完全理解思科的這一全新技術，你需要摒棄原來形成的對刀片式服務器和刀片機箱 (chassis) 的觀念。請重新整理你那些關于 KVM 、控制臺訪問、網絡和存儲接口的概念。你要改變服務器數據中心即 被存儲陣列和網絡包圍的服務器島嶼的這種思想。 思科的優點是從一開始就使用基于刀片式的服務器平臺， 而且是最大限度地利用刀片式服

2、務器。簡而言之，思科 UCS 是圍繞著刀片機箱這一熟悉的概念而建立的， UCS 對刀片機箱進行了重構，使 之有更強的管理能力和更好的擴展性。這篇總結文章側重于 UCS 實質性的細節，以及筆者近期訪問思科 San Jose 測試實驗室時操作這個系統的親身體驗。思科 UCS 的組成模塊一個 Cisco UCS 機箱提供八個刀片 ( 一半寬度 )插槽，每塊刀片配備兩個英特爾Nehalem 處理器，最多可以容納 96GB 的 DIMM(8GB) 內存;兩個 SAS 驅動插槽，一個 LSI Logic SAS RAID 控制器，以及一個 刀片背板 (backplane) 連接。另外，每塊刀片還配備了一個

3、 Cisco 集中網絡適配器 (CNA) 。這個 CNA 實質 上是系統的心臟，即 UCS 區別于傳統刀片式系統的組成部分。CNA 是一個夾層板 (mezzanine board) ，它直接跟機箱的網絡結構相連， 板子上裝有 QLogic 4Gb 光 纖 HBA 通道和一個 Intel 10Gb 以太網接口。連接刀片的一端是兩個 10Gb 的 NIC 和兩個 4Gb FC 接口， 并在另一端有兩個 10Gb 的連接連到背板上。 最初發布的版本不支持每個刀片上有多片 CNA ，或許那時一 個 CNA 真的就足夠了。不過， CNA 對于整個 UCS 系統運行來說是必須的，因為它通過兩個 10Gb

4、的通 道進行存儲和網絡活動，這使得 blade 與傳統 I/O 之間有著本質的區別。這是通過使用以太網光纖通道 (FCoE)來實現的。因此，系統除了刀片其余的部分都是以太網，系統使用結構互聯(Fabric Interconnect ,Fl)來處理FC網絡流量。那么在機箱中我們擁有了一些配備 CNA 的刀片。在同一個機箱中我們還有兩個四口的 10Gb 光纖接 口卡，以及兩個 FI 來驅動所有的東西。技術上稱 FI 為交換機是不準確的，因為機箱的功能更像是一個裝 載刀片的遠程線路卡。在機箱內部沒有交換發生;對于刀片來說它們只是簡單的背板，跟FI 有直接的連接。物理上，Fl的外形跟Cisco Nex

5、us 5000 交換機是一樣的，但是FI有更大的功率和存儲空間來處理FCoE跟FC 之間的大量數據。它們提供了二十個 10Gb 的端口，每個端口支持一個擴展卡。這些擴展卡有不同的類型， 或支持四個 4Gb 的 FC 端口和四個 10Gb 的以太網端口， 或支持六個 10Gb 的以太網端口， 或者支持八個 4Gb 的 FC 端口。 這是每個 Fl 中除了那二十個 10Gb 端口以外的硬件。 還有 三個銅做的管理和簇端口， 也有期望的串行控制臺接口。 Fl 全權負責 UCS 方案的管理和業務流程， 能夠同 時運行 CLl 和 GUl 界面，不需要任何基于外部服務器的組件。Test Center S

6、corecardManagement1PerformanceIReliability1Interoperability1Overall Score20%20%10teCisco UCS 1.08108II9耐】j 技術jI 9.2tjRr . ft -1 LEXCELLENf思科ucs連接各部分可能你的腦子中已經想出了連接的大概情況。UCS的配置基準應該有兩個 FI,分別運行在主動/被動模式，所有的網絡通訊也是以主動/被動模式在兩個FI和每個機箱之間運行。（想想一個帶多余主機的 Cisco Catalyst 6509 交換機機箱，即使其中一個主機待機，它上面的以太網口還是可以用的。兩個FI也以

7、同樣的方式工作）。它們通過一對1Gb的以太網口互相連接，自身還擁有跟更大 CNA連接的帶外管理端口。刀 片式服務器機箱通過機箱中每個FEX（結構擴展）上的兩個或者四個10Gb電纜跟FI連接在一起，每個FI都有一套FEX連接。就是這樣，一個完全配置好的、上行線路為80Gb的機箱有四條電源線和八根 SFP+電纜從機箱里面出來，除此之外沒有別的東西。可以想象，一個完整的UCS機箱能夠裝載56個blade，只用56根數據電纜驅動，如果只用4個10Gb連接，那么每個機箱只需要28根線。從那里，FI對用一些10Gb的上行線跟LAN連接在一起，FI上面剩余的結構用來連接機箱。一對FI能夠用連接到數據中心 L

8、AN的兩個10Gb上行線驅動18個機箱，每個機箱 40Gb，還允許用一個八口的 FC擴展卡跟SAN進行4Gb的FC連接。UCS配置的基礎是DME（數據管理引擎），它是一個基于內存的關系數據庫，控制著方案的所有方面。 他是通過一個開放的 XML API程序自身驅動的。所有的東西都是圍繞這個API進行，利用此 API可以非常容易的編寫跟顯示器連接的腳本或者執行UCS的任何一個功能。實際上，GUI和CLI都是圍繞XML配置的基本shell，所以GUI和CLI分別能夠做什么和不能夠做什么并沒有實質上的區別，甚至外部的腳本 也一樣。UCS是一個令人驚奇的、開源的、方便使用的系統。由于這個原則，備份整個U

9、CS配置也變得簡單了 ：整個配置可以通過 SCP、FTP、SFTP或者TFTP協議發送到一個服務器上，盡管這一操作不能通 過GUI或者CLI來安排。UCS初次安裝大約需要一分鐘。第一個FI上面的帶外管理接口通過控制臺能夠獲得一個IP地址，通過同樣的子網絡獲得一個簇的IP地址。你所需要做的只是命名這個簇，設置管理員密碼就可以了。第二個FI將會監測第一級設置，然后請求一個IP地址加入到系統中。接著，點擊簇上面的瀏覽器會連接到Java GUI上，這時你就可以對 UCS進行配置了。這個方便的示意圖展示了單個機箱跟一對結構互聯FI的直接關系。盡管在圖中被顯示為外部設備，但是結構擴展器(Fabric Ex

10、tender)實際上在機箱自身的內部把思科UCS建立起來第一步是在FI上面定義端口。他們既可以做上行連接端口連接到LAN又可以做服務器端口連接到機箱。右擊每個FI的可視標識，然后選擇合適的功能來配置這些端口。這比較簡單，但是有點麻煩，因為你 不能同時選擇一組端口，你必須一個一個的定義。一旦你定義了端口，機箱就會自動被連接，幾分鐘后所 有機箱內的刀片都會顯示岀來，等待你給他們分配任務。此時事情變得有意思了。在對刀片進行任何的配置之前，你必須定義各種池(pool)和全局設置。這些池涉及光纖通道的 WWNN(World Wide Node Name) 和 WWPN (World Wide Port

11、Name) 分配、以太 網MAC的池分配、UUID分配以及刀片上面 BMC接口的IP管理池。這些都是開放的，你可以給UUID，WWNN ， WWPN和MAC分配任何你想喜歡的地址范圍。實際上，他們太開放了，以至于如果不小心 的話，你可能會重復使用這些地址，給自己帶來麻煩。然而，配置池非常簡單，你只需要指定一個起始地 址和放在池里面的地址數量。不過請確保把這些地址搞清楚，不要弄錯，因為過后你不能修改設置好的池;你只能用相鄰的地址范圍再設置另外一個池。上圖是一個機箱的錯誤提醒，顯示了一個刀片被突然拉動之后刀片上面的錯誤標記。下圖是一個結構 互聯的示意圖，顯示了連接的端口和系統狀態。4MlaN!|k

12、 «vl你還需要考慮固件的修改。你可以把所有刀片器件幾個不同的固件版本都裝載在FI上，然后把這些版本進行自定義，保證特定的刀片為其每個器件運行特定版本的固件，從FC HBA 直到blade自身的bios設置。因為UCS非常新，所以只有幾個可以選擇的修訂版本，可以通過FTP， SFTP，TFTP，和SCP來把他們裝載到FI上。一旦裝載到了 FI上，固件就會按要求加載到每個刀片中。你還能設置預先定義系 統的啟動順序一比如，先從 CD-ROM啟動，然后是本地磁盤，再然后是FC LUN，以及PXE（預先啟動執行環境）。這些都可以按要求分配到每個服務器實例，如果需要的話還可以只包括一個元素。你

13、還可以給刀片定義 VLAN，以及哪個VLAN應該是本地(native)的。假設每個服務器都會連接那些10Gb的接口，但是本地VLAN分配意味著那不是一個不能變通的要求。在實際工作中，很可能每個blade都會連接電纜，所以上面那個假設成立。然而，FI不會跟VTP(VLAN連接協議)配合的很好，所以 VLAN的定義需要手動進行，而不是源自交換局域網其余的部分。如果你需要給你的服務器定義很多VLAN，那么請準備好，你需要進行很多次點擊和輸入。思科希望在后面發布的版本中修正這個問題。Am 叫1Ml OrIIP3.kl B|l JMiIm uol:，匕工f-曲l雖然互聯結構(Fabric Interco

14、nnects)不跟網絡的其他部分對話 VTP，但是你可以定義跟更大的局域網匹配的VLAN.還有一些其他的零碎事情，比如擦除策略(scrub policies)等。這個策略是為了決定當服務從帶本地磁盤的物理刀片抽岀的時候應該采取什么行動一一換言之，本地磁盤是應該被擦除呢還是可以置之不理。不 幸的是，這個“擦除”不是真正的擦除一一它只是毀掉分區表，卻沒有覆蓋磁盤。一旦已經建立好你的池，你就可以開始把你的刀片建設成實際的服務器了。建設服務器的選擇很簡單：刀片要么從SAN或者PXE啟動，要么從本地磁盤啟動。存儲管理不在 UCS的范圍之內，所以讓我們假設 你有一個器件存儲管理程序， 你需要給最初的UCS

15、安裝分配很多LUN.那么你可以通過 UCS GUI列出一個 簡單的WWNN 和 WWPN分配列表，并立即把這個列表轉出到CSV，這樣可以把這個信息非常簡單的傳遞到存儲配置的管理員手中。很方便吧。我好像扯遠了一一我們還沒有建立一個服務器呢。思科UCS服務配置服務器的構建是在服務配置文件中定義的，這些文件本身是從服務配置模板中獲得的。服務配置模板 允許你定義特定的服務器實例，并自動提供一個或多個服務器。一旦您創建了一個全局配置文件，您可以 把這個配置文件復制到許多需要完成任務的服務器中去。結構配置文件確定每個刀片組件的固件修訂版本 以及可供選擇的WWNN , WW PN和MAC池;確定你可能已經定

16、義好的啟動順序；甚至啟動方法一一通過 SAN啟動，通過本地啟動，或者通過你擁有的其他方法啟動。這一切組織起來出奇的簡單。 *忌 h* *t -flirMLA_ -o品晝£1斗出石妣E »*» 爭»( »>» c補甘 ImmuMU ii昴吟10$ trapfll!- IgMmn«askMnAffr»tauait* 4 att 2tM耀電 WKBtonn ftmH m rr naJrt.«.i >r I <«>d I l> T MTiTli JDKri'XFtD

17、 CEB 根la 刊呼il (Ml rrRil feHhfdiiiVgBfia k l r Hn 迦.till OWZlo 0W上面的圖顯示了所有配置服務的分配狀態，以及哪些配置服務被分配到哪些物理刀片上。下圖的清單 顯示了一個WWNN 池以及哪些服務配置正在使用的哪些池地址。這個列表可以非常方便的導出為一個 CSV格式文件。你還可以訪問你早期建立的以太網和 FC端口指示，比如ethO、ethl、fcO和fc1 這些要跟每個FI對應起來，因此在每個刀片上面產生了一定的冗余。我就在這里遇到過一些錯誤，舉個例子，分配的端口清楚的被定義為 Fabric A，但是當模板應用到一個服務器時，Fabric

18、 A中不知怎么又冒出了一個 FabricB，這就需要手動來校正。他們向我保證他們正在積極的修改這個錯誤。在這個宏偉的格局中，這只是個小問題，而且強調一下，這是 1.0版本。有兩種形式的服務配置模板：原始型和升級型。每個模板都有其優缺點，不幸的是兩種模式之間不能互相切換 ;如果你一開始用的是原始模式，那么以后不能進行升級。原始型模板用來建立一次性的服務配置，最初的模板沒有附件。而升級型的模板是跟這些服務配置形 影相隨的，所以在升級型模板中改變設置就會引起所有相關服務配置的改動。這是一把雙刃劍，因為它可 以使服務配置管理變的簡單，只要重新啟動就會完成這些配置的修改而幾乎不會出現警告。可是當你 點擊

19、保存的時候，會引起 20 個刀片都重新啟動，雖然這個啟動跟改變模板啟動順序步驟那樣無傷大雅。 如果有一個選擇可以錯開所有的重新啟動，或者可以對其進行時間安排，或者兩種選擇都有就好了。思科 已經知曉這個問題，并且正在著手研究解決方案。原始型配置沒有這個問題，但是一旦建立后，如果需要修改的話，那么你必須一個一個手動修改，一 個服務器一個服務器的來。不幸的是，這里沒有兩全其美的解決方案。無論如何，你可以建立一個服務配置，定義刀片應該在器件上運行什么固件;把什么樣的 WWNN ，WWPN ， 和 MAC 地址分配給刀片上的各種端口 ;把什么樣的管理 IP 地址分配給 BMC; 啟動刀片的順序 ; 以及

20、從哪里啟動刀片本地磁盤還是 SAN LUN. 然后你可以把這個配置分配給特定的刀片，或者你可以 把所有的刀片匯集在一起組成池，然后把配置分配給這個池，讓 UCS 來選擇刀片。然后，奇跡發生了。 思科 UCSPXE 的魔法在 UCS 進行處理之前， 每個刀片里面什么配置都沒有。根據每個服務器服務配置， 一個刀片必須能夠 符合任何數量的特定要求，從固件的修訂版本開始。 Cisco 通過 PXE 用某種 網絡 PXE magic 程 序啟動刀片，以及用 PXE 推動基于 Linux 的配置代理，完成從什么都沒有的刀片到完全配置好的刀片的轉 變。代理然后訪問所有不同的器件，閃存和固

21、件，分配給他們不同的地址，讓刀片跟服務配置相符合。這 總共需要一到兩分鐘。隨后，刀片重啟，并準備接受一個操作系統。這個過程有點進退兩難：如果我想用PXE啟動操作系統怎么辦呢？通過一些magic程序，UCS配置器PXE 框架不會干擾正常的 PXE 操作。一旦刀片按照服務配置進行了設置，他就會聰明的讓路。從這一點開 始，你可以像平時一樣安裝操作系統比如， VMware ESX Server ， RHEL 5.3 ，或者你有的任何系統。上圖顯示的是完全不一樣的東西：一個Cisco BIOS POST畫面你還可以使用在遠程 KVM功能中的虛擬媒體工具。這個稍微有點老套了，但是你可以從你的本地系統中選擇

22、一個ISO鏡像來給刀片作為連接在上面的CD或者DVD，從那里啟動來安裝操作系統。這時另外一個有趣的事情發生了：一般來講，不用安裝任何的驅動程序。Windows Server 2008， RHEL 5.3以及后者VMware ESX 3.5 U4 在他們的默認安裝中已經擁有所有的UCS驅動程序。你可能認為思科計劃這個已經有段時間了，你還可能會認為思科跟不同的操作系統供應商關系都不錯。可能你是正確的。思科UCS在房間中跳躍現在你用 Windows Server 2008， VMware ESX ， RHEL 5.3，或者別的什么系統軟件配置了你的刀片。每個刀片都可以使用你定義的多個 VLAN，都受

23、你提出的SAN LUN約束，基本上每個刀片都是臃 腫的、不做聲的，并且運行的十分歡快。那么當一個刀片壞了的時候會發什么事呢？HAUCS沒有一個真正定義的高可用性，這點有點讓人失望。然而，如果你把服務器實例分配到一個有很 多刀片的池，它從 SAN LUN啟動，如果其中一個刀片運行那個實例失敗，那么會導致實例會從池里面的 另外一個同樣的刀片啟動。這個過程需要幾分鐘，因為UCS需要根據服務配置的所有設定來準備目標刀片， 然后重啟，但是它確實提供基本的HA能力。盡管這個窮人的 HA實用，但是看到一些“真實的”形式在UCS上定義還是挺不錯的。UCS另外一個重要的方面是結構管理。思科UCS的管理框架利用了

24、繼承的概念，這點跟 LDAP的思想一樣。因此，有可能創建擁有自己策略、池、以及服務配置的組織，而由于子結構可以從父結構的池里 面提取等等，這些結構可以從上面的結構中繼承策略和池。這讓管理簡單了許多，可以允許你建立能夠成 為接受全部內容的全局池和策略，并對那些應用于特定結構的策略設定得更詳細。另外，管理可以順著結構這條線線安排。用另外一個設施 dubbed Locales ，管理人員對于特定機構 的特定管理職責可以得到特定的權利，那些權利也會傳遞到子結構。思科 UCS 擴展情況對于所有的 IT 基礎設施來說，可擴展性是關鍵。令人驚奇的是，擴展對于 UCS 來說卻不是個問題。 每個 UCS 612

25、0XP FI 可以通過雙向局域網上行線處理 144 個刀片，馬上就要發布的 6140s 可以用同樣的 方式處理最大 304 個刀片。這個控制器刀片比率是非常強大的，它允許 UCS 能進行極大的擴展，然而 所需的只是相對便宜的機箱和刀片，而不是昂貴的 FI.UCS 還能提供一些重要的多租戶架構。比如，可能你有彼此獨立的工作組或者客戶，他們不僅需要從 物理硬件上分開彼此，而且還需要完全獨立的局域網。使用Pin Group 功能可以實現這個目標，它可以把特定的物理接口指定在某組服務器上。 你可以把這些應用在局域網或者 SAN 連接上面， 所以你能把特定的 服務配置指派給特定的 SAN 而不是指派給特

26、定的刀片。這允許下面的一些情況： 使用某個特定部門自己的局域網和 SAN 創建的一個服務配置可以使用四個刀 片。這些服務配置將被指派到特定的上行端口連接到局域網和 SAN. 如果一個刀片不工作了， 那么安排這個 刀片上面的服務配置就會分配到另外一個刀片上面另外的刀片可能位于其他的機箱然后這個服 務器實例作為 pin group 的一部分還是會一直保持其物理上的獨立性。這對于擁有完全不同的網絡部分和 存儲部分的服務提供商和企業來說，是一個非常大的優點。 UCS 方案可以用在任何數量的不同的網絡拓撲 結構中，還能保持物理上的獨立性，而且這個會自動進行。其實可擴展性的事宜就只剩下機箱自身了，比如一些

27、金屬板，一個背板，還有一些組件接口等。機箱 中沒有智能成分，這也使得他們價格便宜。另外隨著 FI 的大規模批量生產，意味著你擴展越多的機箱，你 的方案會越便宜。如果說可以從 UCS 學到什么的話，那么應該是機箱其實就是 FI 的擴展，而且無論你需 要什么，他們都有足夠的帶寬來運行。這就是說，一旦你把一組 FI 裝滿，你就必須重新開始一個新的簇 ; 不同的 UCS 簇尚不能在一個單獨的管理域里面混合使用。思科 UCS 貨物出門概不退換，買主須自行當心坦率的說，UCS的1.0版本提供的功能、范圍以及廣度給人印象非常深刻。但這并不是說它沒有問題。首先，改變服務配置是否會引起刀片重新啟動不是很明確。有些情況下，當配置改變可能會引起一個刀片 重啟的時候會出現警告信息，然而刀片的狀態卻有點不明確。我遇到過幾個小的 GUI 問題以及一個更重要的小故障：在一個服務配置推進