第12章網格操作系統的雛形——GLOBUS本章知識點：12.1網格簡介12.2Globus初探1可編輯版網格（Grid）技術以計算資源的廣域分布、網絡技術的不斷發展為基礎，迎合了不斷增長的對資源共享的需求。網格通過網絡的連接，形成一個集成的資源環境，利用網格提供的計算能力來求解問題，就是所謂的網格計算（GridComputing）。網格計算也可以理解為分布式計算（DistributedComputing）的一種延伸。2可編輯版12.1網格簡介網格技術是近年來興起的一種重要信息技術，它的目標是在網絡環境上實現各種資源的共享和大范圍協同工作，消除信息孤島和資源孤島，利用聚沙成塔而成的計算能力廉價的解決各種問題。網格發展的最終目的，就是要向電力網供給電力、自來水管網供給自來水一樣，給任何需要的用戶提供充足的計算資源和其他資源?！耙徊寰土?，一開就流，然后，一算就有，即用即算，而且隨算隨用”。這種模式下，用戶沒有本機的概念，運算能力和效率不由本機的芯片、存儲、軟件決定。用戶使用它，不用考慮其后隱藏的任何細節，只需要提出運算要求，然后獲得結果，雖然這個結果很可能是在地球的另一端得出的。3可編輯版12.1.1網格的特點 網格被稱為新一代的Internet，作為一種新興的基礎設施，它具有以下特點：

1.分布性這一點是網格最主要的特點，除了早期在實驗室中為了研究目的構成的網格，投入商業應用的網格必定是建立在資源廣域分布的基礎之上。而網格資源在物理上的分布，又決定了網格計算必然是一種分布式計算，而不可能是集中式的。有必要強調的是，網格資源的離散分布不應該影響對資源的共享，這是建立的網格的基本目標。分布是資源的物理特征，而共享則可以由網格軟件的邏輯構造來保證。4可編輯版12.1.1網格的特點 2.動態性與多樣性網格里的資源不是一成不變的，他們可能因損壞、遷移、故障等原因而不可用，同時也可能不斷有新的資源加入進來。動態性意味著資源的增加或減少。網格包含的資源多種多樣，而且是異構的。因此，解決好不同結構不同類別的計算機系統之間的通信和共享問題是網格軟件包的一個重要任務。5可編輯版12.1.1網格的特點 3.自相似特性所謂自相似性，指的是局部的很多地方可以發現全局的影子，而全局的特征在局部也有體現。我們可以把一個大的網格看成是許多小的子網格疊加的結果，大的網格比子網格擁有更多的資源，需要更強有力的管理。當然，這種疊加不是簡單的1+1=2，大的系統往往要比小系統面對更多的實際問題和困難。6可編輯版12.1.1網格的特點 4.管理的多重性 網格的目的是發揮閑散資源的能力，因此資源的控制與管理權是雙重的，既應該承認資源擁有者對資源的所有權，也要強調在資源空閑而被網格利用時，網格對資源的管理權。7可編輯版12.1.2網格的體系結構 要實現一個網格，我們必須了解它的基本組成部分，每一部分的作用，這些部件之間存在的關系等。而所謂的網格體系結構，就是包含了上述信息，并且描述了怎樣建造網格及支持網格有效運轉的技術。8可編輯版12.1.2網格的體系結構 1.幾個重要的概念 在開始介紹網格體系結構的有關模型之前，有必要先理解下面一些概念：①協議：在分布式系統的各個組成部分確定一種通用的交互方式。實際上就是定義了一種“相互交流的規范--協議”。而所謂的標準協議，就是將協議按統一規則標準化的結果。②服務：我們將協議實現的功能稱之為服務。由標準協議定義的標準服務增強了提供服務的能力，抽象掉了與資源相關的細節。③API/SDK：應用程序接口（ApplicationProgrammingInterface）和軟件開發包（SoftwareDevelopmentKits）,可以使開發人員跳過對于互操作、協議、服務這些低級的開發，而直接針對高級應用進行工作④共享：網格中的共享，更側重于對于包括硬件軟件在內的各種資源的直接訪問。⑤虛擬組織：基于某些共享規則，由一些個人或團體形成的集合體。9可編輯版12.1.2網格的體系結構 2.五層沙漏結構 五層沙漏結構是一個以協議為中心同時強調服務和API/SDK重要性的結構，但它并不側重于協議的具體定義，而是著重于協議的描述，因此它非常容易理解。10可編輯版12.1.2網格的體系結構五層結構示意及與TCP/IP協議對比：11可編輯版12.1.2網格的體系結構五層結構之所以被稱為漏斗，是因為每個層次所包含的協議數量是不相等的。有一部分協議稱為核心協議,這類協議需要在所以支持網格技術的地點都被支持。上層協議向核心協議的映射以及核心協議向下層協議的映射都應該可以實現。核心協議部分形成了沙漏的瓶頸部分12可編輯版12.1.2網格的體系結構 3．OGSA體系結構開放網格服務結構OGSA（OpenGridServicesArchitecture）是一種以服務為核心的結構，這與五層沙漏模型以協議為中心的結構形成鮮明對照。五層沙漏模型中強調的是資源的共享，而OGSA則強調服務的共享，這里的服務概念是廣義的，不僅指由資源提供的服務，也包括資源本身。為了使OSGA中的服務的含義更清晰和明確，出現了網格服務（GridService）的概念：網格服務是WebService的一種，提供了由良好定義的接口構成的集合，以及遵循特殊的、為支持網格而制訂的規范。13可編輯版12.1.2網格的體系結構OSGA將一切都視為服務，因此網格在這里也可以看成可擴展的網格服務構成的集合。五層模型的構造過程更多的是基于協議本身的需要，即更注重實體對象本身；而OGSA強調的則是與協議對應的服務，即更注重實體對象所表現出來的行為特征。OGSA以下三個方面的特點值得我們注意：①面向服務的體系結構(Service-orientedArchitecture)。②與WebService技術的聯系。③和商業應用需要的緊密聯系。14可編輯版12.1.2網格的體系結構在OGSA體系中存在兩種服務，臨時性服務(TransientServices)和持久服務（PersistentServices）,但是臨時服務占了絕大多數。針對這一特點，OSGA具備了相應的基本結構：A)使用標準WSDL規范及其擴展來描述和對服務結構化。在WebService中，WSDL用來描述服務、實現接口以及完成訪問的方法。為了適應網格服務中臨時服務居多的特點，OGSA對WSDL進行了必要的擴展。15可編輯版12.1.2網格的體系結構網格服務的結構:

16可編輯版12.1.2網格的體系結構B)為了進一步提高效率，增強為虛擬組織用戶服務的能力，OGSA針對核心服務定義了一些標準接口和行為：命名和綁定：每一個服務實例都有唯一的名字——網格服務句柄GSH(GridServiceHandle)，以方便發現其支持的綁定。Factory接口：這個接口定義了CreateService操作，通過這個操作可以創建一個新的GS(GridService)實例，并且返回一個GSH。GridService接口：這是唯一一個在OGSA所有服務中都必須包含的接口。通過這一接口，我們實現了對于臨時服務的生命周期管理。17可編輯版12.1.2網格的體系結構Registry接口：用來發現服務實例的集合，主要作用是注冊一個GSH。ServiceData：它是服務數據元素的集合，包括基本的內部信息、接口的特殊信息和應用的數據，其實質是一個XML片段，封裝在標準容器中，可以通過FindServiceData操作來查詢這些信息。Notification接口：負責對服務的存在（如創建一個新的服務實例）和數據的變化進行通知。18可編輯版12.1.3網格技術 網格技術大致可以分為以下幾類：應用技術：包括分布式超級計算、數據密集型計算等等。編程技術：在合適編程工具和編程環境的支持下，實現在網格上進行程序設計。核心管理技術：連接網格底層和高層的紐帶，協調整個網格運轉的中樞。底層支撐技術：網格最底層所需的支撐技術，是構建網格的基礎。包括計算節點的構建技術、網絡協議等。19可編輯版12.1.3網格技術

1.任務分配與調度技術網格上有大量共享資源的應用，任務分配與調度技術的主要目的就是使得這些運行的應用獲得最高的性能。首先，要在空間上對數據和資源進行分配，將它們分配給需要的任務。然后，在時間上進行定序，這里既包括對于同一資源上的不同任務的排序，也包括不同任務間通信的排序。20可編輯版12.1.3網格技術

2.資源管理技術與高性能計算側重響應時間長短不同，存在一種側重整個系統效率的計算——高吞吐率計算（HighThroughputComputing）。高吞吐率計算關注的是在一段時間內，系統完成的任務或者資源能夠提供的服務的多少。這種高吞吐率計算特別適合于網格計算環境。而要發揮高吞吐率計算的長處，就必須重視資源管理技術。21可編輯版12.1.3網格技術 3.性能數據搜集、分析與交互在調度與分配技術中，要獲得網格的動態信息，就必須借助于性能數據搜集技術。我們除了要能從操作系統、處理機、應用程序等一般性目標中獲取數據外，還要求能從網格的各個層次各個節點獲取全面的數據。獲得數據后，進一步的工作就是要分析。分析包括定量分析、自動性能診斷和擾動分析等。我們進行分析的主要目的在于建立性能數據與初始源代碼之間的聯系。分析得到的結果，不能僅僅讓機器明白是什么意思，必須進行可視化的轉化。性能數據的搜集、分析與交互這三個環節密切相關。22可編輯版12.2 GLOBUS初探在所有與網格計算相關的項目中，Globus是目前最有影響力的項目之一。該項目的主要研究目標有兩個：其一是網格技術的研究；其二是相應軟件的開發和標準的制定。23可編輯版12.2.1Globus工具包 GlobusToolkit主要實現了以下的內容：

1.網格資源管理在網格環境中，需要不同于局域網的、更高層次的資源管理技術。Globus資源分配管理GRAM(GLOBUSResourceAllocationManager)是網格環境中的任務執行中心，它負責遠程應用的資源需求處理、遠程任務的分配與調度以及遠程任務的管理，并根據資源的實時情況報告把資源的更新信息發送給元計算目錄服務MDS。資源描述語言RSL(ResourceSpecificationLanguage)的主要作用是傳遞應用程序對資源的請求，把這些請求交給GRAM進行分析和處理

24可編輯版12.2.1Globus工具包 GRAM中有兩個最重要的組成部分：①Gatekeeper:位于遠程計算機上的一個進程，主要負責處理任務分配請求。它具有單一的入口地點，在收到客戶(client)的任務分配請求以后，它將和客戶互相進行安全認證，若客戶通過認證，則將被Gatekeeper映射到本地安全環境，同時，啟動一個具有本地權限的任務管理者JobManager，并把RSL中包含的任務分配參數傳遞給JM。25可編輯版12.2.1Globus工具包②JobManager：任務管理者，由Gatekeeper創建。主要負責在本地系統中啟動和管理任務，以及與其他用戶間通信。任務管理者主要有兩個部分組成：機器相關組件，負責實現諸如本地系統調用，向MDS傳遞信息等一些本地環境中的內部API；通用組件，主要負責把Gatekeeper發出的信息轉變為機器相關組件可執行的內部API，并把機器相關組件發出的信息轉化為應用管理者可以理解的信息格式并傳送給管理者。26可編輯版12.2.1Globus工具包資源管理示意圖:27可編輯版12.2.1Globus工具包 除了以上兩個最重要的部分，GRAM的組成部分還包括：resource:這里指可代表用戶運行一個或多個進程的主體；client:調用客戶端資源分配API的進程；job:根據一個任務請求而產生的進程；jobrequest:發給Gatekeeper的請求，用于創建一個或多個任務進程；resourcemonitor：用于監視本地調度系統和資源系統；applicationmanager:通過多個資源管理者實現對一個在不同資源上運行的應用的集中式管理。28可編輯版12.2.1Globus工具包 2.網格信息管理在廣域網條件下，如何在網格中發布資源信息，以及對資源信息如何查詢和定位，是有效使用各種資源的前提條件。好的信息管理，應該能夠提供對系統組件動態或靜態信息的訪問，能夠對動態信息進行有效管理，這也是動態和異構環境下進行適應性配置的基礎。Globus中的信息管理由元計算目錄服務MDS來完成。29可編輯版12.2.1Globus工具包 MDS(MetacomputingDirectoryServices)是一種基于網格計算環境的信息服務框架，主要通過輕量目錄管理協議LDAP(LightweightDirectoryAccessProtocol)對信息進行訪問和存儲，在由LDAP服務器組合構成的分布目錄中訪問信息MDS簡要邏輯結構:

30可編輯版12.2.1Globus工具包 MDS服務器包括以下的兩類，它們都是使用LDAP作為查詢協議：①網格資源信息服務GRIS(GridResourceInformationService)。這是一個由MDS提供的可配置的信息服務者組件。它是一個分布的信息服務，支持多個信息提供器，通過將它配置在網格的各個角落，提供某一特定資源的信息。②網格目錄信息服務GIIS(GridIndexInformationService)。這是一個由MDS提供的可配置的集合目錄組件，它提供從多個GRIS服務器搜集得到的信息集合。GIIS還可以將多個GRIS服務器中來自同一虛擬組織的信息映像成一個連貫的網格資源系統。它也具備發現并找到某一特定資源的能力。31可編輯版12.2.1Globus工具包

MDS作為網格中的信息服務中心，處理的信息主要包括網格環境中的各種資源、服務以及其他主體的描述。它的任務，是完成對這些信息的發現、描述、監視等工作，根本目的就是要提供對于網格環境的真實、動態的反映。截至目前，MDS存在的不足有：應該提供更豐富、更全面的GRIS及信息提供器;基于LDAP目錄的方法不能有效支持數據目標數目的增長，尤其是數據對象之間的復雜關系的描述，同時不能有效支持數據修改和復雜查詢（在關系數據庫中）;Schema也需要進一步完善。32可編輯版12.2.1Globus工具包 3.網格安全網格是基于Internet環境建立的，其安全保障實質是以下兩個方面的內容：對資源的訪問控制;通信安全保護。同時,網格環境具有它自身的特點：網格中的用戶和資源數量驚人而且是動態可變的；計算過程及其包含的進程都能動態的創建和執行；網格的資源可支持不同認證，用戶可屬于不同組織，同一個用戶在不同資源中可有不同標識。33可編輯版12.2.1Globus工具包站在不同角度，對網格安全的要求有不同側重點，如下表所示:34可編輯版12.2.1Globus工具包網格環境的安全主要由網格安全基礎設施GSI(GLOBUSSecurityInfrastructure)來保障。GSI建立在公鑰加密技術的基礎上，采用X.509證書和SSL(SecureSocketsLayer)通信協議，通過對它們的擴展實現了單一系統登陸和委托（Delegation）功能，并支持用于安全系統的標準API：GSS-API(GenericSecurityServiceAPI)。GSI的主要應用有：交換證書，授權與代理；檢查網格映像文件；執行諸如JobManager的服務程序；檢查服務。35可編輯版12.2.1Globus工具包 為了實現以上的功能，GSI采用了以下技術手段：①保密通信。②私鑰保護。③安全認證。GSI的安全證書基于X.509規定的證書格式，包括了以下四個方面的信息：主體名稱：用來明確標識用戶或資源的身份； 屬于該主體的公鑰：用來通過基于X.509的認證；簽署證書的認證中心的標識；簽署證書的認證中心的數字簽名：用于對認證中心合法性的確認。36可編輯版12.2.1Globus工具包④安全身份鑒別。在雙方都有安全證書，且對雙方的認證中心都信任的情況下，雙方就可以完成彼此的身份鑒別工作。37可編輯版12.2.1Globus工具包⑤安全委托。每個代理都將獲得一個由用戶（注意：不是認證中心）簽署的證書，證書內容包括：新的公鑰和私鑰；用戶的標識；代理的標識；標識代理有效期的時間標記。38可編輯版12.2.1Globus工具包 4.網格數據管理 網格環境中的數據管理，涉及的主要功能包括：遠程數據的高速、可靠訪問，以及傳輸；管理數據的復制，自動發現“最好”的數據拷貝；對計算、網絡和存貯的協同調度；加強對數據的訪問控制。39可編輯版12.2.1Globus工具包 為了實現上述的功能，GT主要包括了以下這些組件：①GridFTP。Globus提出的這個機制以FTP協議為基礎，進行了必要的擴展，能夠以一個統一的界面提供對多種存儲系統的高速、安全訪問。②網格二級存儲服務GASS（GlobusAccesstoSecondaryStorage）。這是一個支持網格遠程文件I/O的中間件，與GRAM配合使用，用來實現文件和執行代碼的I/O重定向。GASS下列網格環境中常用I/O模式提供了支持：只讀訪問：最簡單的訪問模式；共享寫：多個用戶寫一個文件；只添加；無限制讀寫：只允許一個用戶對文件進行操作。40可編輯版12.2.1Globus工具包③Globus復制管理GRM(GlobusReplicaManagement) 它集成了ReplicaCatalog（跟蹤復制的文件）和GridFTP（數據移動），可以與信息服務相結合實現有選擇的復制。 ReplicaCatalog是復制管理的核心部分，用來維護文件和文件集合的邏輯名字與對應的一個和多個物理存儲地址的映射，由此，RC也支持將部分相關數據智能的放置在離應用程序最近的位置，以方便程序的快速存取。41可編輯版12.2.1Globus工具包

5.其他方面的內容 還有一些服務也是GT中所包含的（有的在新版本中已廢棄），這里我們不做詳細介紹：通信管理NEXUS：用于提供單點和多點的通信服務；健康和狀態管理HBM(HeartBeatMonitor)：監控系統構件的健壯情況和狀態；執行管理GEM(GLOBUSexecutablemanagement)：構建、緩存及定位執行。42可編輯版12.2.2Globus與五層沙漏模型本節中，我們將對GT中個部分的功能與五層結構模型各層次的對應情況做一個介紹，以加深對GT和沙漏模型的理解。注意：這里主要指的是GT2.x版本，GT3.0則是基于OGSA模型的。43可編輯版12.2.2Globus與五層沙漏模型 1.構造層Globus中的資源管理組件位于這一層，Globus使用構造層中已有的組件，包括資源提供方支持的協議和界面，若提供方不提供必要的構造層行為，Globus將提供缺省的功能。需要提及的是，GARA通過“插槽管理”可以為本不具備預約功能的資源提供預約功能。44可編輯版12.2.2Globus與五層沙漏模型 2.連接層Globus中的安全基礎設施位于這一層，基于公鑰機制和X.509證書格式的GSI協議可以實現認證與授權機制，通信的保護與保密，支持不同安全方案的集成，采用基于用戶的信任機制。Globus可以通過授權工具包控制授權行為，運行資源擁有者通過GAA(GenericAuthorizationandAccess)提供的界面來將網格某個局部包含的所有安全策略集成。45可編輯版12.2.2Globus與五層沙漏模型 3.資源層在Globus中已被采用的協議有：GRIP(GridResourceInformationProtocol)和GRRP(GridResourceRegistrationProtocol);基于http的GRAM協議：用于分配計算資源并且監視和控制這些資源上的行為；

GridFTP數據訪問管理協議：實現遠程數據傳輸的管理；LDAP協議：用于文件目錄的訪問。在客戶端，Globus提供了這些協議的C和JAVA語言的API/SDK接口；而在服務器端，Globus也提供了這些協議的SDK接口和實現（如GRIS和GSS）。46可編輯版12.2.2Globus與五層沙漏模型 4．匯聚層Globus中的信息管理組件位于這一層，負責將資源的邏輯特征統一管理，協調解決各個資源間的問題和沖突。元目錄服務MDS中的GIIS支持任意資源以子集形式操作，從而實現對資源的靈活配置和管理。網格復制管理GRM提供的目錄復制和復制管理可以實現網格環境中的數據復制。Globus也提供一種稱為“信任倉庫”的機制，用來對可信任的代理進行安全存儲。DUROC的協同分配庫為資源的動態協同分配提供了必要的API/SDK接口。47可編輯版12.2.2Globus與五層沙漏模型Globus提供的是支持應用與開發的軟件包，因而它在應用層沒有對應功能。實際上，Globus與五層模型的對應關系并不絕對，比如：主要再連接層中發揮作用的安全基礎設施GSI在應用層中同樣發揮著重要的作用；主要在資源層中運轉的GRAM也可對構造層中某些資源的管理提供必要的支持。48可編輯版12.2.3Globus與OGSA模型 GlobusToolkit的早期版本主要是圍繞協議來設計的，但是人們在實踐中發現，有些服務很難把它清晰的分解為幾個協議來完成，因此人們提出了面向服務的概念，并進一步提出了開放式網格服務體系OGSA，GlobusToolkit3.0正是融合了OGSA和WebService兩項技術而產生的，它于2003年7月1日正式發布。49可編輯版12.2.3Globus與OGSA模型GT3結構簡圖:

50可編輯版12.2.3Globus與OGSA模型

1.設計方法的變遷GT3從以協議為中心變為以服務為中心，把原來GT2中孤立的服務（GRAM、MDS、GridFTP）集成到了服務容器框架中（GT3Core）,這更符合實際應用的需要，充分體現了面向服務的思想。為了進一步的與WebService技術相結合，GT3將實現語言由C變為了JAVA，使用的協議也從原來的http和LDAP，擴展到采用XMLSchemabased（通用協議框架）。GT3幾乎可說是經過了重新設計，但它仍保持和GT2.xAPI的兼容，是在現有服務上的超集。51可編輯版12.2.3Globus與OGSA模型 2.GT3提供的服務①GRAM依然是Globus資源管理體系結構中最底層的部分，通過使用一組WSDL/OGSI客戶端接口進行作業的提交、監視和終止操作，實現作業的遠程運行。由于提供了與GT