第10章開源云計算系統介紹21.開源云計算系統Hadoop2.開源云計算軟件Eucalyptus3.開源虛擬化云計算平臺OpenStack1.掌握Hadoop的體系架構、技術原理和應用方案2.掌握Eucalyptus的體系架構、技術原理和應用方案3.掌握OpenStack的體系架構、技術原理和應用方案Hadoop的分布式計算框架MapReduce、OpenStack的核3主要內容主要內容·10.1開源云計算系統Hadoop·10.2開源云計算軟件Eucalyptus·10.3開源虛擬化云計算平臺OpenStack4Hadoop是有Apache軟件基金會下的一個開源分布式計算平臺。Hadoop以分布式文件系統HDFS和MapReduce(GoogleMapReduce的開源實現)為核心，為用戶提供了系統底層細節透明的分布式基礎架構。HDFSHDFSHadoop·不擁有任何私有(非開源)修改地使用了100%開MAPRdoobsdoobsHadoop是一個能夠對大量數據進行分布式處理的軟件框架，具有可靠、高效、可伸縮的特點。Hadoop的核心是HDFS和MapReduceTezYARNSharkHive(基于Hadoop的數據倉庫)●用于Hadoop的一個數據倉庫系統，提供類似于SQL的查詢語言。●一種分布的、可伸縮的、大數據存儲庫，Hbase(分布式列存數據庫)支持隨機、實時讀/寫訪問。Pig(基于Hadoop的數據流系統)分析程序的高級語言和對這些程序進行評估●為高效傳輸批量數據而設計的一種工具,用于ApacheHadoop和結構化數據存Sqoop(數據同步工具)Flume(日志收集工具)Zookeeper(分布式協作服務)Mahout(數據挖掘算法庫)分布式計算框架算法集，實現了多種●一個開源數據分析集群計算框架。與●即HiveonSpark,一個專門為Spark打造的大規模數據倉庫過程拆分為若干個子過程，同時可以把多個Map/Reduce任務組合成一個較大的DAG任務，減少Map/Reduce之間的文件存儲。MapReduce是Google開發的Java、Python、C++編程模型，MapReduce借鑒了Lisp等函數編程語言的思想，將要執行的問■先通過Map程序將數據切割成不相關的區塊，分配(調度)給MapReduce中的Map和Reduce操作的抽象描述處理：文檔數據記錄(如文本文件中的行，或數據表格中的行)將以“●MapReduce中的Map和Reduce操作的抽象描述輸入：由map輸出的一組鍵值對[(k2;v處理：對傳入的中間結果列表數據進行某種整理或進一MasterinformedofworkerworkerMsendsworker寫中間文件輸入文件Map階段(在本地)Reduce階段輸出文件著業界對這一開源分布式技術不斷加深了解，Hadoop被廣泛應用于在線旅游、移動數據、電子商務、能源發現、能源節省、基礎設施管Wal-Mart決定采用Hadoop來分析顧客搜尋商品的行為以及用戶透過搜索引擎尋找到Wal-Mart網站的關鍵詞，利用這些關鍵詞的分析結果分析顧客在Facebook、Twitter等社交網站上對商品的討論，期望能比懷孕的消息，并且主動寄送相關商品的作為全球最大的拍賣網站，eBay具有龐大的用戶數據據囊括了結構化的數據和非結構化的數據，如照片、影片、電子郵件過Hadoop進行數據預先處理，將大塊結構的非結構化數據拆解成小型數據，再放入數據倉儲系統的數據模型中分析，來加快分析速度，也全球最大信用卡公司VisaVISA率Visa快速發現可疑交易，1個月分析時間縮短成13分鐘位，但每天VisaNet要處理全球上億筆交億個用戶賬號之間的關聯，得等1個月。Visa在2009年時導入了Hadoop,讓分析時間從1個月縮短到13分鐘，更快速地找出了可疑交易，也能更快對銀行提出預警全球最大的中文搜索引擎百度Baidu百度百度的Hadoop集群為整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊，以及LBS團體提供統一的計算和存儲服務，主要應用包括數基礎上還開發了自己的日志分析平臺、數據倉庫系統，以及統一的C++編程接口，開發了HadoopC++擴展全球領先的互聯網公司阿里巴巴阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶，為淘寶數據、推薦引擎系統、搜索排行榜等。為了便于開發，阿里巴巴還開發了Web使用的相關系統包括Hive、Pig、Mahout、DBSync囡據流據流主要內容主要內容·10.1開源云計算系統Hadoop·10.2開源云計算軟件Eucalyptus·10.3開源虛擬化云計算平臺OpenStackEucalyptus:桉樹——加州大學圣巴巴拉分校建立的開源項目 將程序連接到有用系統的彈性效能計算體系結構ElasticUtilityComputingArchitectureforLinkingYourProgramstoUsefulSystems功能：Eucalyptus全局掌控各種基于物理設施的虛擬設備，實現對整個集群的計算能力的動態配置>開發目的 ——Eucalyptus必須能夠在不受其設計者操控的軟硬件環境中進Eucalyptus是AmazonEC2的一個開源實現，它與EC2的商業服務應用遷移高度API兼容Eucalyptus采用了分層的體系結構，包含五個主要組件：云控制器(CLOUDCLOUDWALRUSCONTROLLERSTORAGEVMWAREBROKER(OPTIONAL)NODESNODECONTROLLER(NC)VMVMNODECONTROLLER(NC)VMVMNODECONTROLLER(NC)26●26●在Eucalyptus云內，是主要的控制器組件，負責管理整個系CloudController●Walrus是一個與AmazonS3類似的存儲服務。這個控制WalrusClusterControllerNodeControllerSOAP/ReSTCloudcontrollerCloudcontrollerNodecontrollerWalrusStoragecontroller28在多集群安裝中，可以將各個組件(CC、SC、NC和CLC)放置在單獨的機器上。多集群的結果是可用性的提高、負載SOAP/ReSTCloudcontrollerCloudcontrollerStoragecontrollerNodecontrollerNodecontrollerWalrusCloudcontrollerCluster2StoragecontrollerNodecontrollerNodecontroller OpenStack是一個由Rackspace公司和美國國家航空航天局(NASA)共同開發的云計算平臺項目，可以為共有云和私有云服務提供云計算基OpenStack的作用是整合各種底層硬件硬件資源，為系統管理員提供Web界面的控制面板以方便資源管理，為開發者的應用程序提供統一管理CLOUOCFEQATNGSYSTEMOpenStack作為IaaS層的云操作系統，主要管理計算、網絡和存儲三大類資源。可以規劃并管理大量虛擬機，從而允許企業或服務提供商按需OpenStack核心功能AssignsAssignsjobsBootsdatabaseBootsdatabaserOrchestratesclustersviaBackupsdatabasesinOrchestration-OpenStack核心功能KeystoneCeilometerOpenStack有三個核心開源項目：計算服務(Nova)、存儲服務(37計算服務NovaNova是OpenStack云中的計算組織控制器Nova處理OpenStack云中實例(instances)生命周期的所有活動38Nova主要組件nova-networkQueuedatabasenova-schedulenova-volumeyolumestorageNova組件介紹2.MessageQueue(RabbitMQServer)OpenStack節點之間通過消息隊列使用AMQP(AdvancedMessage40Nova組件介紹3.ComputeWorker(Nova-Compute)4.NetworkController(Nova41Nova組件介紹5.VolumeWorkers(Nova-Volume)6.Scheduler(Nova-Scheduler)Nova工作流程Nova-API對外統一提供標準化接口，各子模塊，如計算資源，存儲queueNova運行架構Nova工作流程1調用Compute-Api創建2Compute-API通過RPC的息中間件指定消息隊列"Scheduler"。3根據請求的虛擬資源，即6結合DHCP,實現IP分配和5Nova-Compute調用4物理機A上Nova-Compute守"Compute物理機A",接到消息后，根據虛擬機基本信7Nova-Compute通過調用Volume-API實現存儲劃分，最后調用底層虛擬化Hypervisor技術，部署虛擬機。44從功能上看，Nova平臺中有兩類節點：控制節點和計算節點，其角色由安裝的服務決定，控制節點包括網絡控制Network、調度管理Scheduler、Api服務、存儲卷管理Nova-Volume等，計算節點主要提供由于使用了消息總線，因此服務之間是位置透明的，可以將所有服務可以部署在同一臺主機上，即All-in-One(一般用于測試),也可以根據用在生產環境Nova平臺配置一般有三種類型：最簡配置標準配置高級配置45需要至少兩個節點，除了Nova-Compute外所有服務都部署在一臺OpenStack雙點架構標準配置4臺主機來進一步細化職責。控制器、網絡、卷和計算職責分別由ControllerControllerManagementNetworkcomputeNetworkPublicNetworkNetworkStorage46高級配置很多情況下(比如為了高可用性),需要把各種管理服務分別部署在不同主機(比如分別提供數據庫集群服務、消息隊列、鏡像管理、網絡控制等),形成更復雜的架構。StorageNodeNatcerCompukeNodasCompukeNodaswsatNetworsXongeSeniceMelwosSwift是OpenStack開源云計算項目的子項目之一，是一個可擴展的對Swift構筑在比較便宜的標準硬件存儲基礎設施之上，通過在軟件層面引入一致性散列技術和數據冗余性，犧牲一定程度的數據一致性來達到高可用性和可伸縮性，支持多租戶模式、容器和對象讀寫操作，適合49數據的可靠性，是指數據存儲到系統中后，到某一天數據一是數據存儲容量無限可擴展，二是Swift性能(如QPS、吞吐量等)可線性提升。簡單體現在實現易懂、架構優美、代碼整潔；可依賴是指50Swift主要組件Swift系統架構SwiftAPISwift采用完全對稱、面向資源的分布式系統架構設計，所有組件都可擴展，避免因單點失效而擴散并影響整個系統運轉；通信方式采CacheServerCacheServerProxyserverServerFindbcationforagivennameinmappingsObjectRingContainerObjectContainerAccountObjectContainerObjectObjectAccountServerAcoomtOhjetAcoomtCbjectUpdaterContainerUpdaterCbjectUpdaterContainerUpdaterAccountUpdaterObjectObjectAuditorContainerContainerContainerAuditorkentualconsisteney-Replicatorintegritychecking-AccountAuditorSwift主要組件認證服務(Auth