1、畢業設計（論文）課題：云計算的淺析與應用 任務書要求完成的主要任務內容：云計算的出現，將使我們從一個以桌面系統為中心的應用模型向新的以網絡為中心的應 用模型轉變。云計算帶來的改變，不僅是人類對計算機使用方式的改變，還必將從根本上改 變人們獲取信息、保存信息及交流信息的方式。對于云計算來說，向社會提供公共性信息服 務是其核心思想，也是其目的所在，這與公共圖書館開展社會公益性服務的價值取向是相一 致的。云計算通過超強的信息組織能力為公共圖書館在未來提供更好的社會公益性服務提供 了保障。課題目的意義和主要技術指標：數字圖書館正在經歷翻天覆地的互聯網時代，加快引入新技術提高自身服務水平，加速嘗試新的服

2、務模式應用，才能在日新月異的高科技革命中立于不敗之地。云計算已經 對互聯網世界產生深刻影響，圖書館行業需要對其發展高度關注。云計算如果能高效的應 用在圖書館中，那么讀書也將更加普及，各國文化以及各國只是也將國際化。圖書館的公 益化也將更加簡單。所以研究云計算在圖書館中的高效應用也成為一件非常重要的事情。在這個電子產品暢銷的時代，在這個電子書鋪天蓋地到來的時代，如何應用云計算合理的 管理書籍，如何避免垃圾書籍出現在云服務中，也成為重要的研究方向。主要技術指標：虛擬化技術、網絡技術、（如：負載均衡技術、rac等）、總線技 術主要文獻、資料和參考書：1、51ct0. com,云計算數據中心網絡技術2

3、010. 9.2、sun microsystems,云計算架構介紹白皮書，2009. 4.3、工業和信息化部電信研究通信信息研究所，云計算技術與應用，2010. 5.4、microsoft corporation,讓云觸手可及-微軟云計算解決方案白皮書，2009. 6.5、李德毅，張海栗，超出圖靈機的云計算j.中國計算機學會通訊，2009. 126、it 專家網虛擬化子站:http: /virtualization, ctocio. com. cn/7、it168 服務器子站：http:/server, 8、中國云計算網 http: /www. cncloudcomputing. com/本任

4、務書一式三份。由指導教師認真填寫，經教研室主任審查報系主任批準后，下達 給學生，學生填寫聯系方式后返回。裝訂一份在論文里。指導老師保留一份。審批：教研室主任系主任 20 年 月 日畢業設計(論文)開題報告一. 畢業設計的內容和意義：隨著有關云計算概念、術語和技術的不斷涌現和大量報道，人 們在生活中越來越多的采用和實施云計算技術。由于云計算概念和技 術比較新穎，涵義比較寬泛，再加上市場上一些人將云計算放大成無 所不包、無所不能和無所不在的萬能技術，對云計算的描述和推銷多 少出現了一些浮燥和炒做的嫌疑。脫離實際過分夸大或缺乏全面分析 地炒做云計算不僅可能讓人誤解，也會使得云計算的發展不切實際， 對

5、于云計算產業在中國的成長非常不利。所以，有必要對云計算的由 來和概念進行了較為全面的梳理和定義。在總結云計算技術為it產 業帶來好處的同時，找出不足及局限，從而更好地發展云計算技術。本課題的內容是介紹云計算(cloud computing)是由分布式計 算(distributed computing)、并行處理(parallel computing)、 網格計算(grid computing)發展來的，是一種新興的商業計算模型。 中國網格計算、云計算專家劉鵬認為：“云計算將計算任務分布在大 量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算 力、存儲空間和各種軟件服務” o云計算中的“

6、計算”是一個簡單而明確的概念。“計算”系指 計算應用，在我們生活中可以指一切it應用。隨著網絡技術的發展, 所有的信息、通信和視頻應用都將整合在統一的平臺之上。由此推而 廣之，云計算中的“計算”可以泛指一切ict的融合應用。所以，云 計算術語的關鍵特征并不在于“計算”,而在于“云”。二. 文獻綜述：隨著近年來計算機技術的快速發展，特別是計算機網絡的發 展，越來越深刻的改變了人們生活的方方面面，各種網絡工具與在線 服務系統，更是深刻的影響了人們的生活方式，使得人們可以利用 “云計算將計算任務分布在大量計算機構成的資源池上，使各種應用 系統能夠根據需要獲取計算力、存儲空間和各種軟件服務”。云計算

7、作為一個相對新興的名詞，出現的時間雖不長，卻足以引起眾多追捧 者對其概念的極大熱忱，甚至matrix關于云計算的20個定義都不 能涵蓋其全部內涵。對于圖書館人而言，我們應該將研究重心更多關 注到云計算在圖書館中的應用方面。目前，與云計算相關的網絡應用與服務已應用到圖書館屮，但 對于中小型圖書館而言，云計算的到來對中小圖書館帶來的影響和機 遇也值得我們重視和深思。為了推動中小型圖書館利用云計算技術提 升服務能力、降低運行成本，有必要對云計算在中小型圖書館中的應 用問題進行系統、深入的研究。三. 工作計劃及方案論證：（500芳左右）工作計劃：前期階段（2-3周），主要做一些準備工作，準備以及熟悉云

8、 計算的運行平臺，安裝所需要的各種軟件，分析平臺的各種需求并確 定平臺的基本架構，收集相關一些有助于課題研究的資料，試著寫相 關的程序。中期階段（6-8周），開始對云計算進行全面的淺析與應用， 本階段是整個云計算實現過程中的一個很重要的時期，也是對整個云 概念進行詳細設計和應用，最后基本完成整個平臺的制作任務。后期階段（2-3周），該階段主要對整個云計算平臺進行淺析 和應用，發現操作平臺存在的問題和有那些缺陷，并進行總結和分析。 不斷地完善整個云計算平臺，實現云計算的各種基本功能。并完成相 關論文的撰寫。方案論證：硬件條件：在此平臺的淺析與應用上所需的硬件條件不是很高， 個人所有的硬件條件（筆

9、記本）足夠能以達到淺析云計算的要求。為 云計算的淺析于應用提供了便利的硬件條件。軟件條件：通過分析在硬件上云計算系統的建設目標是將運行在 pc上、或單個服務器上的獨立的、個人化的運算遷移到一個數量龐 大服務器“云”中，由這個云系統來負責處理用戶的請求，并輸出結 果，它是一個以數據運算和處理為核心的系統。最后對云計算理論，我們需要首先了解云計算的概念和含義，以 及從海航實際需耍出發，理解它能給我們帶來什么，我們要達到什么 效果，包括如何建立完善的云計算服務體系等等。我個人理解非常有 限，有很多的疏漏，希望能得到更多的建議和指教。非常感謝！ 四參考文獻：（親少于力篇，期那類夂獻耒歹于7篇丿2、su

10、n microsystems,云計算架構介紹白皮書，2009. 4.3. 工業和信息化部電信研究通信信息研究所，云計算技術與應用2010. 5.4、microsoft corporation,讓云觸手可及-微軟云計算解決方案白皮書，2009. 6,5、尼古拉斯卡爾.it不再重要：互聯網大轉換的制高點-云計算m.閆鮮寧，譯.北京：中信出版社，20086、李德毅，張海栗，超出圖靈機的云計算j 中國計算機學會通訊,2009.12目錄摘要1引言21云計算的概念311云計算的發展特征31.2云計算促進科技研究的環境 41. 3 “云計算”提升數據共享服務52云計算的核心技術52.1資源池的管理和使用72

11、.2集群的故障定位與維護92. 3資源池的分組與異構113分布式技術 123.1分布式文件系統153. 2 key/value 存儲引擎154云計算環境下的圖書館信息安全策略154. 1相關標準及政策法規的制定與完善164. 2圖書館信息資源的安全存儲與管理165總結17參考文獻18致謝19云計算的淺析與應用摘要云計算主要基于資源虛擬和分布式并行架構兩大核心技術。在虛擬化 技術方面，文章探討了物理資源的池化、資源池的管理與使用、集群 的故障定位與維護、資源池的分組與異構等技術，以及異構的虛擬化 云計算平臺的建設和應用。在分布式技術方面,文章探討了分布式文 件系統和key/value存儲引擎技術

12、。對于分布式文件系統，捉出主機“瓶頸”解決方案及存儲接口標準化的想法;對于key/value存儲引擎，提出目錄化存儲的解決方案。中國論文臂力www.z i 編輯。關鍵詞：虛擬化;分布式計算;云管理平臺;key/value存儲引擎引言隨著有關云計算概念、術語和技術的不斷涌現和大量報道，人們 在生活中越來越多的采用和實施云計算技術。由于云計算概念和技術 比較新穎，涵義比較寬泛，再加上市場上一些人將云計算放大成無所 不包、無所不能和無所不在的萬能技術，對云計算的描述和推銷多少 出現了一些浮燥和炒做的嫌疑。脫離實際過分夸大或缺乏全面分析地 炒做云計算不僅可能讓人誤解，也會使得云計算的發展不切實際，對

13、于云計算產業在中國的成長非常不利。所以，有必耍對云計算的由來 和概念進行了較為全面的梳理和定義。在總結云計算技術為it產業帶來好處的同時，找出不足及局限，從而更好地發展云計算技術。1. 云計算的概念云計算(cloud computing )是由分布式計算(distributed computing ).并行處理(parallel computing ).網格計算(grid computing)發展來的，是一種新興的商業計算模型。中國網格計算、云計算專家劉鵬認為：“云計算將計算任務分布 在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計 算力、存儲空間和各種軟件服務”。云計算中的“計算

14、”是一個簡單而明確的概念。“計算”系指計 算應用，在我們生活中可以指一切it應用。隨著網絡技術的發展， 所有的信息、通信和視頻應用都將整合在統一的平臺之上。由此推而 廣之，云計算中的“計算”可以泛指一切ict的融合應用。所以，云 計算術語的關鍵特征并不在于“計算”，而在于“云”。1.1云計算的發展模式及其特征早期云計算來之于國際上以亞馬遜、saleforces. com和谷歌 (google)為代表的公司，并且都提供了具有顯著特征，但又代表 著不同模式的成功云業務。云計算按照層次將業務模式劃分為3層，最頂層是軟云，中間層 是平云，底層是基云。在基云之下是構建云計算的基礎技術。云計算的核心思想，

15、是將大量用網絡連接的計算資源統一管 理和調度，構成一個計算資源池向用戶按需服務。提供資源的網 絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展 的，并且可以隨時獲取，按需使用，隨時擴展，按使用付費。這 種特性經常被稱為像水電一樣使用it基礎設施。總的來說，云計 算可以算作是網格計算的一個商業演化版。云計算基本模型如圖 所示：12 “云計算”促進科技協同研究環境的建立云計算的平臺即服務可以把開發環境作為一種服務提供 到用戶端，這種服務為科學協同研究創造了一個很好的平臺。通 過使計算分布在大量的分布式計算機上，而非本地計算機或遠程 服務器中，企業數據中心的運行將與互聯網更相似。這使得企業

16、能夠將資源切換到需要的應用上，根據需求訪問計算機和存儲系 統。好比是從古老的單臺發電機模式轉向了電廠集中供電的模式。 它意味著計算能力也可以作為一種商品進行流通，就像煤氣、水 電一樣，取用方便，費用低廉。最大的不同在于，它是通過互聯 網進行傳輸的。1. 3 “云計算”提升數據共享服務云計算是下一代的數據中心，隨著云計算的發展，科學數 據共享應用云計算的技術模式在數據挖掘、數據加工、數據利用、 數據管理、數據存儲、數據遷移等方面可以得到便捷的發展，使 科學數據共享服務得到正真提升。2、云計算的核心技術云計算主要基于資源虛擬和分布式并行架構兩大核心技術, 同時互聯網上有大量的開源軟件為用戶提供支撐

17、，如xen. kvm、 lighttpd. memcached nginx、hadoop、eucalytus 等。云計算 技術有效地節約了云服務商的硬件投入、軟件開發成本和維護成 本。配合虛擬機和虛擬存儲空間為應用提供云服務。2. 1資源池的管理和使用資源池由云管理平臺實現統壹的管理、調度和監控，涉及 云平臺的合理使用和維護管理。云管理平臺共分為4個管理層面， 分別為：設備的管理、虛擬資源的管理、服務的管理和租戶管理。對于資源池的管理如圖所示:ibm小型機資源池 hp小型機資源池 x86資源池ivmm：融合戲虛擬化'理器(1) 設備管理設備管理為云計算平臺的硬件設備提供管理和告警功 能

18、，主要包括系統管理員在日常的維護工作中查詢各物理設備性 能情況，并對如應用服務器的cpu使用率、內存使用率、硬盤使用 率、網絡接口使用率、存儲設備的空間使用率、10情況等關鍵指 標進行監控。用戶可以根據應用物理設備的實際配置，設置相應的 監控閾值，系統會自動啟動對相應指標的監控并報警。(2) 虛擬資源管理虛擬資源管理為各種應用提供虛擬資源的統壹管理、 資源分配和靈活調度，同時還包括系統管理員在日常的維護工作 中查詢各個最小虛擬資源的性能情況，并對應用虛擬機的cpu使用率、內存使用率、硬盤使用率、網絡接口使用率，虛擬存儲(如亞馬遜的ebs）的空間使用率.10情況等關鍵指標進行監控。用戶 可以根據

19、虛擬資源的實際配置，設置相應的監控閾值，系統會自動 啟動對相應指標的監控并報警。（3）服務管理服務管理包括服務模板、服務實例、服務目錄等管理。服 務管理在虛擬資源的基礎上，快速向租戶提供用戶指定的操作系 統、應用軟件等軟件資源。一個基于云計算的服務與應用如圖所 示：個性化披需服務（用戶及情境感知）云應用領域互操作模型云服務的編程椎架及運行引翠（按需自動服務組合、可視化服務編程）服務資源管理與監控云服務注冊分布式數據存儲與處理平臺（hadoope）（分希式數據庫：hbases bigtable）（分布式數據存傭服務:hdfsx gps、s3） 系統虛擬機（xen、kvm、vmware） 硬件基礎

20、設施云基礎設施層（4）租戶管理租戶管理對每壹個租戶對應的資源群進行管理，內容 包括資源的種類、數量、分布情況等，同時對租戶生命周期進行管 理，包括租戶的申請、審核、正常、暫停、注銷等。論文臂力www. zi dir.com 2.2集群的故障定位與維護google的集群維護方式給我們留下了深刻的印象，維 護人員推著小推車對損壞的機器進行更換，故障定位通過定制pc 的故障燈進行判斷（在通用的因特網數據中心（idc）應用中，計算 資源通常使用通用pc機）。目前所有的云平臺對物理機和虛擬機 的監控、告警，都shi按照機器的ip地址作為機器的編號進行管 理。對于承載著虛擬機的物理機而言，其host os

21、模塊的ip地址 對應和代表著物理機器在集群中的唯壹標志。ip地址的分配壹般 采用兩種方式：采用動態主機配置協議（dhcp）方式自動獲取；通過 手工指定方式確定。由于集群中機器很多，手工指定工作量非常巨 大，因此通常采用dhcp的方式對ip地址進行分配。中國論文臂 力wwwz i dircom編輯。但shi維護人員在云管理平臺上發現物理設備出了故障, 維護人員無法通過ip地址對應到故障機器的具體物理位置，通用 的pc機又沒有故障燈等輔助定位手段。定位故障機器的物理位置 并更換或維護它成為壹個復雜和繁瑣的過程在的虛擬化集群中，可以采用簡單而有效的方法解決此問 題。對于每壹臺物理機器，配置壹個usb

22、接口的key, key中保存了 物理機器的位置信息，同時usb key與物理位置直接綁定（如綁在 機架上）。機器在啟動時，會到usb key中讀取物理位置信息，根據 讀取的物理位置信息，依據固定的算法和物理信息算出機器的ip 地址，并在管理平臺中體現。這樣，每個物理機器的ip地址就與物 理位置綁定，在物理機器故障時，維護人員在云管理平臺可以準確 獲取故障機器的ip地址和物理位置。2.3資源池的分組與異構對于服務器的虛擬化，由于架構不同，sun、ibm等廠家的小 型機虛擬化都采用相互獨立的架構，與基于x86架構的虛擬化系 統（如xen、kvm等）無法兼容，因此造成了資源浪費。對于服務器虛擬化的異

23、構問題，可以從兩個層面去解決：（1） 通過資源池的分組，對不同架構的服務器和小型機進行虛擬化，不 同架構的資源池歸于壹個獨立的組，針對不同的應用，分配特定的 虛擬機資源。（2）通過業務的定制和調度，將不同架構的虛擬化平 臺通過管理融合，實現異構虛擬機的調度。如圖所示:業務調度認ivmmocci曠充接 ibm版本hp版本os同一個應用功能有3個不同阪本x86版不hp 小型機 資源池x86 資源池 ivmm :融合的虛擬化管理器occi: oracle c+調用?g口在云計算平臺中，把ibm的powersystems小型機集群通過 ibm的powervm系統虛擬為基于powersystems架構的

24、計算資源池， 把hp的小型機集群通過hp的vse系統虛擬為基于hp架構的計算 資源池，把x86架構的計算資源通過xen'kvm系統虛擬為基于x86 的zxve資源池。在業務部署時，不同的應用的可以根據自己的業 務特點和操作系統特點，選擇性地部署在不同的資源池上，從而實 現虛擬化對各類小型機的異構。x86架構的計算資源池、 powersystems架構的計算資源池和hp架構的計算資源池分別受 各自的虛擬化管理軟件(如vmm、ivm和gwlm)管理。在vmm、ivm 和gwlm的上層，可以通過融合的虛擬化管理器(ivmm),對3個計算 資源池進行統壹管理。虛擬資源對應用實現異構的方法。此方

25、法的核心在于4個 方面：ivmm、業務調度器、業務系統針對不同的資源池架構提供應 用功能相同的不同版本、ivmm和業務調度器之間的occi擴充接 口。在業務應用層面，針對業務系統，本文增加業務調度器模 塊。業務調度器根據業務的繁忙程度，向ivmm申請增加或減少虛 擬機資源，并調整負載均衡策略。業務系統針對不同的資源池架構, 需要準備與之對應的功能相同的不同版本。occi擴充接口的工作 流程為：業務系統的業務調度器通過occi接口向云計算平臺申請 資源，同時向云計算平臺提供業務系統可以支持的操作系統等信 息，并提供優先級信息。云計算平臺根據業務系統的請求和云內資源的空閑情況， 分配計算資源，通過

26、occi接口通知業務調度器云計算平臺向業務 系統提供了何種架構的計算資源。業務調度器根據申請到的資源情況，將業務處理機的 操作系統、業務版本等模板信息通過occi接口通知云計算平臺， 由云計算平臺進行操作系統和業務程序的部署，完成后提交給業 務系統進行使用。3分布式技術分布式技術最早由google規模應用于向全球用戶提供 搜索服務，因此必須要解決海量數據存儲和快速處理的問題。其分 布式的架構，可以讓多達百萬臺的廉價計算機協同工作。分布式文 件系統完成海量數據的分布式存儲，分布式計算編程模型 mapreduce完成大型任務的分解和基于多臺計算機的并行計算, 分布式數據庫完成海量結構化數據的存儲。

27、互聯網運營商使用基 于key/value的分布式存儲引擎，用于數量巨大的小存儲對象的 快速存儲和訪問。3. 1分布式文件系統分布式文件系統的架構，不管shigoogle的gfs還 shihadoop的hdfs,都shi針對特定的海量大文件存儲應用設計 的。系統中有壹對主機，應用通過文件系統提供的專用應用編程接 口（api）對系統訪問。分布式文件系統的應用范圍不廣的原因主要 為：主機對應用的響應速度不快，訪問接口不開放。對于分布式結 構的示意圖如圖所示:i系統中心internet公眾幅處朋第用戶應用子系統計算機ignss )rs：謠惑 gnss：全球導航衛星系統 pda：個人數字助理主機shi分

28、布式文件系統的主節點。所有的元數據信 息都保存在主機的內存中，主機內存的大小限制了整個系統所能 支持的文件個數。壹百萬個文件的元數據需要近1g的內存，而在 云存儲的應用中，文件數量經常以億為單位；另外文件的讀寫都需 要訪問主機，因此主機的響應速度直接影響整個存儲系統的每秒 的讀入輸出次數(iops)指標。解決此問題需要從3個方面入手：(1) 在客戶端緩存訪問過的元數據信息。應用對文件系 統訪問時，首先在客戶端查找元數據，如果失敗，再向主機發起訪 問，從而減少對主機的訪問頻次。(2) 元數據信息存放在主機的硬盤中，同時在主機的內 存中進行緩存，以解決上億大文件的元數據規模過大的問題。為提升硬盤可

29、靠性和響應速度，還可使用固態硬盤(ssd)硬盤，性能可提升10倍以上。3）變分布式文件系統主機互為熱備用的工作方式為1主多 備方式（通常使用1主4備的方式），通過鎖服務器選舉出主用主機, 供讀存儲系統進行改寫的元數據訪問服務，如果只shi讀訪問，應 用對元數據的訪問將被分布式哈希表（dht）算法分配到備用主機 上，從而解決主機的系統“瓶頸”問題。對于互聯網資源式的變 遷如圖所示：服務器集群和虛擬化虛擬服務服務器托管形成市場服務器托管對于分布式文件系統，外部應用通過文件系統提供的專用api對其進行訪問，這影響了分布式文件系統的應用范圍。對 于標準的posix接口，可以通過fuse的開發流程實現，

30、但將損失 10%一20%的性能。對于網絡文件系統(nfs),在實現posix接口的基 礎上，可以直接調用linux操作系統的nfs協議棧實現。3. 2 key/value存儲引擎key/value存儲引擎最大的問題在于路由變更后，數 據如何快速地實現重新分布。key/value存儲引擎如圖4所示。 可以引進虛擬節點的概念，將整個key值映射的ring空間劃分成 q個大小相同的bucket (虛擬節點，key的映射算法推薦采用md5) ° 每個物理節點根據硬件配置情況負責多個bucket區間的數據。同 壹個bucket上的數據落在不同的n個節點上，通常情況下n =3。 我們將dcache的q設定成10萬，即把整個ring空間分成了 10 萬份，如果整個dcache集群最大容量為50 tb,每個區間對應的數 據大小僅為500 mb。對500 mb的數據進行節點間的遷移時間可 以少于10 s,n =3, bucket a中的數據存儲在b、c、d 3個節點。 4云計算環境下的圖書館信息安全策略針對上述云計算的安全風險及數字圖書館的安全需 求，圖書館在云計算的應用過程中應重點關注以下幾方面的安全 策略。4. 1相關