1、of40電子工業出版社云計算(第三版)配套課件云 計 算（第三版）CLOUD COMPUTING Third Edition主編：劉鵬 教授第 11 章中國云計算技術(一)本套PPT下載地址：http:/ 教授、博導、學科帶頭人，清華大學博士?，F任中國云計算專家咨詢委員會秘書長、中國信息協會大數據分會副會長、工業與信息化部云計算研究中心專家。 主持完成科研項目25項，發表論文80余篇，出版專業書籍15本。獲部級科技進步二等獎4項、三等獎4項。主編了國內第一本云計算教材云計算和第一本云計算編程書籍實戰Hadoop。創辦了知名的中國云計算（）和中國大數據（）網站。 曾率隊奪得2002 PennyS

2、ort國際計算機排序比賽冠軍，兩次奪得全國高校科技比賽最高獎，并三次奪得清華大學科技比賽最高獎。 榮獲“全軍十大學習成才標兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養工程”中青年科學技術帶頭人、清華大學“學術新秀”等稱號。劉 鵬11.1 國內云計算發展概況11.2 國產云存儲技術11.3 國產大數據庫技術11.4 云視頻監控技術11.5 阿里巴巴阿里云服務11.6 云創存儲萬物云服務of40云計算第三版配套PPT課件11.1 國內云計算發展概況of40云計算第三版配套PPT課件611.1 國內云計算發展概況以“BAT”等為代表的互聯網企業成為現階段中國云計算服務創新發展

3、的主導力量。后起之秀UCloud、QingCloud等，也希望能夠在未來的龐大的企業級市場占據領導地位。11.1 國內云計算發展概況未來云計算的發展離不開以下四大發展趨勢：第一，隨著云計算創新水平的不斷提升，產業鏈上中下游整合趨勢更加明顯。第二，國內云計算應用市場進一步發展成熟，市場空間顯著擴大。第三，云計算服務發展迅速，公共云服務和大型企業、機構內部的私有云建設與運維將成為重點。第四，云計算公共化程度將進一步提升。國內云計算應用市場進一步發展與成熟，市場空間顯著擴大。11.1 國內云計算發展概況11.2 國產云存儲技術11.3 國產大數據庫技術11.4 云視頻監控技術11.5 阿里巴巴阿里云

4、服務11.6 云創存儲萬物云服務of40云計算第三版配套PPT課件11.2 國產云存儲技術11.2.1 淘寶分布式文件系統TFS11.2.2 云創存儲cStor分布式文件系統11.2.3 A8000超低功耗云存儲一體機of40云計算第三版配套PPT課件1011.2 國產云存儲技術淘寶分布式文件系統TFSTaobao File System（TFS）是一個高可擴展、高可用、高性能、面向互聯網服務的分布式文件系統，主要針對海量的非結構化數據，它構建在普通的Linux機器集群上，可對外提供高可靠和高并發的存儲訪問。淘寶提供海量小文件存儲采用了高容錯架構和平滑擴容扁平化的數據組織結構of40云計算第三

5、版配套PPT課件11.2 國產云存儲技術淘寶分布式文件系統TFSApplication/ClientBlock iddataserverNameServerBlock iddataserverNameServerDataServerdsp1dsp2dsp3hdahdahdaDataServerdsp1dsp2dsp3hdahdahdaBlockid,fild id/AllocateDataserver id(blockid,file id)Heartbeatmessagecontrol messageHeartbeat message11of40云計算第三版配套PPT課件12wBlockblo

6、ckmasterblockmasterblockmasterblockmasterWirtableBlockListBlockListDataServerListSERVERWriteLeaseListBlock11.2 國產云存儲技術淘寶分布式文件系統TFSof40云計算第三版配套PPT課件1311.2 國產云存儲技術淘寶分布式文件系統TFS1）集群容錯l TFS可以配置主輔集群，一般主輔集群會存放在兩個不同的機房。l 主集群提供所有功能，輔集群只提供讀。2）NameServer容錯l Namserve負責維護Block列表和DataServer與Block之間的關系。 l NameServ

7、er和DataServer之間也會有定時的heartbeat。3）DataServer容錯l TFS采用Block存儲多份的方式來實現DataServer的容錯。l TFS對每一個文件會記錄校驗CRCl 對于每一個寫入請求，必須在所有的Block寫入成功時才算成功。of40云計算第三版配套PPT課件1411.2 國產云存儲技術淘寶分布式文件系統TFS平滑擴容TFS集群容量不足時，只需新增DataServer，在上面部署好應用程序后啟動即可。在集群負載較輕時，NameServer會對DataServer上的Block進行均衡，保證每個DataServer的Block數盡可能均衡。of40云計算第

8、三版配套PPT課件11.2 國產云存儲技術11.2.1 淘寶分布式文件系統TFS11.2.2 云創存儲cStor分布式文件系統11.2.3 A8000超低功耗云存儲一體機卷配置節點參數配置存儲參數配置用戶配額管理QoS管理告警配置存儲空間監控設備狀態監控程序狀態監控網絡狀態監控磁盤狀態監控流量監控全面告警監控中心配置中心管理監控中心客戶端1客戶端2客戶端3客戶端4客戶端N主卷管理服務器備卷管理服務器用戶掛載客戶端卷管理節點主元數據管理節點1備元數據管理節點1卷A主元數據管理節點2備元數據管理節點2卷B主元數據管理節點3備元數據管理節點3卷C數據節點1數據節點2數據節點3數據節點N數據節點1數據

9、節點2數據節點3數據節點N數據節點1數據節點2數據節點3數據節點N元數據管理節點塊數據存儲節點總體架構存儲機制cStor客戶端向系統中寫數據流程如圖of40云計算第三版配套PPT課件11.2 國產云存儲技術云創存儲cStor分布式文件系統1cStor客戶端向元數據服務器發起數據寫請求2元數據服務器根據存儲服務器的負載情況，選擇負載較輕的存儲服務器1和存儲服務器2存儲數據的兩個副本，在存儲服務器1上預留存儲空間保存數據3存儲服務器1存儲空間足夠，向元數據服務器返回預留存儲空間成功4元數據服務器同時向存儲服務器2發起預留存儲空間申請5存儲服務器2存儲空間足夠，向元數據服務器返回預留存儲空間成功6主

10、元數據服務器同步元數據信息到備元數據服務器，保證元數據始終保存兩份18of40云計算第三版配套PPT課件11.2 國產云存儲技術云創存儲cStor分布式文件系統7同步元數據成功8元數據服務器向客戶端返回數據可以寫到存儲服務器1和29客戶端向存儲服務器1發起數據請求10存儲服務器1保存數據11存儲服務器1同時把數據副本發送到存儲服務器2，存儲服務器2保存數據副本12存儲服務器2副本寫成功，返回寫成功給存儲服務器113客戶端收到成功信號后，即完成數據的存儲19of40云計算第三版配套PPT課件20cStor客戶端從系統中讀數據流程如圖所示11.2 國產云存儲技術云創存儲cStor分布式文件系統of

11、40云計算第三版配套PPT課件2111.2 國產云存儲技術云創存儲cStor分布式文件系統cStor云存儲系統的控制流和數據流是分離的：l 一方面降低了元數據管理節點的負擔，使得其處理能力更強；l 另一方面將數據讀/寫的負擔分攤到各存儲節點，使得系統的整體性能得到了提高，系統整體性能與節點數目成正相關。1cStor客戶端向元數服務器發起數據讀請求2元數據服務器查找文件保存在存儲服務器1上，然后告知客戶端3客戶端存儲服務器1發出數據讀請求，并從存儲服務器1讀取數據4存儲服務器1返回數據內容給客戶端關鍵技術0102030405負載均衡技術數據高可靠保證技術超安存編解碼技術高速并發訪問技術數據可擴展

12、性of40云計算第三版配套PPT課件23D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8三副本超安存8:2編碼P1P211.2 國產云存儲技術云創存儲cStor分布式文件系統of40云計算第三版配套PPT課件11.2 國產云存儲技術11.2.1 淘寶分布式文件系統TFS11.2.2 云創存儲cStor分布式文件系統11.2.3 A8000超低功耗云存儲一體機of40云計算第三版配套PPT課件2511.2 國產云存儲技術A8000超低功耗云存儲一體機3600TB3000W10倍of40云計算第三版配套PPT課件26l

13、 A8000采用了標準42U機架。l 其中4U 空間用于部署交換機、供電模塊和RMC模塊，其余38U用于部署38個1U的服務器，包括2個E5系列的主控節點，36個Atom系列的存儲節點。l 供電模塊由電源模塊、配電板（PDU）、母排、背板組成。l 電源支持250VAC輸入，集中輸出至12VDC 母排，機柜內母排分為上下兩段，服務器節點通過母排或背板直接取電。l 風扇模塊采用了風扇墻共享設計，由RMC實現獨立風扇控制，其N+1冗余設計可以實現獨立維護，對節點透明。11.2 國產云存儲技術A8000超低功耗云存儲一體機機架結構of40云計算第三版配套PPT課件2711.2 國產云存儲技術A8000

14、超低功耗云存儲一體機產品特性優異性能超低功耗簡單通用全面監控便捷管理超高密度高度可靠of40云計算第三版配套PPT課件28單塊主板最大可接18個SATA3.0硬盤，對外網絡提供4個千兆以太網，支持四網口綁定，網絡帶寬速率可達4千兆。處理器是Intel64位低功耗CPU，支持8GB DDR3內存，單板可直接安裝Linux發行版操作系統。11.2 國產云存儲技術A8000超低功耗云存儲一體機關鍵技術-(1) A8000低功耗主板of40云計算第三版配套PPT課件2911.2 國產云存儲技術A8000超低功耗云存儲一體機關鍵技術-(1) A8000低功耗主板of40云計算第三版配套PPT課件3011

15、.2 國產云存儲技術A8000超低功耗云存儲一體機關鍵技術-(2) 集中式直流供電of40云計算第三版配套PPT課件31服務器服務器RMC管理模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊冷風道熱風道11.2 國產云存儲技術A8000超低功耗云存儲一體機關鍵技術-(3) 集中式散熱系統A8000整套系統通過RMC管理模塊，對整個機架8個散熱模塊進行實時控制，每個散熱模塊由6個獨立的風扇組成，通過RMC集中管理模塊，根據每個區域的溫度，自動調節風扇轉速，針對整個系統的問題進行有效散熱，從而達到節點效果。of40云計算第三版配套PPT課件本章未完待續百度排名首位的大數據資料和

16、交流中心百 度 排 名 首 位 的 云 計 算 資 料 和 交 流 中 心終生免費的智能硬件大數據托管平臺掃一掃，進入萬物云終 生 免 費 的 環 境 大 數 據 共 享 平 臺掃一掃，進入環境云一攬子解決方案 云計算、大數據時代，社會亟需相關人才！而高校缺平臺、缺人才、缺經驗！怎么辦？ 建設一個Hadoop實驗平臺 一套開源的Hadoop一體機和開發環境，詳細的指導書籍和實驗設計。 培養一支云計算師資隊伍 來自云計算高手的系列培訓， 早在2010年就培訓了全國第一批云計算師資力量。 營造一個大數據科研環境 為科研提供技術支持，與大數據應用相結合，讓科研邁上新臺階。了 解 詳 情運 用 云 計 算 ， 精 彩 你 生 活優秀免費云計算應用推薦暫時僅有安卓版本支持安卓和蘋果支持安卓和蘋果學 習 云 計 算 必 須 關 注 的 公 眾 號知名微信公眾號推薦劉鵬看未來云計算頭條云創大數據中國大數據微信號： chinacloudn