/基于Hadoop的云架構系統方案云計算是目前最熱門的研究領域之一，也是眾多企業及研究機構研究的課題。云計算是分布式處理、并行處理和網格計算的發展，或者說是這些計算機科學概念的商業實現。云計算的新穎之處在于它幾乎可以提供無限的廉價存儲和計算能力。未來存儲模式將改變目前的存儲模式。不再存放在個人計算機及服務器上,而是存放在云服務器中。同時所有的計算及處理工作也將在云服務器完成。這樣給企業及各廠商帶來很多便利。節省了投入成本、企業能夠很好的應付突發的大訪問量以及能夠提供存儲服務的同步升級和數據的有效管理。因此，云計算在近年來贏得了眾多廠商和企業的關注并得到長足的發展。云計算及其存儲結構1.1云計算概念云計算是網格計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統計算機技術和網絡技術發展融合的產物。它旨在通過網絡把多個成本相對較低的計算實體整合成一個具有強大計算能力的完美系統,并借助SaaS、PaaS、IaaS、MSP等先進的商業模式把這強大的計算能力分布到終端用戶手中。云計算的一個核心理念就是通過不斷提高“云”的處理能力，進而減少用戶終端的處理負擔。最終使用戶終端簡化成一個單純的輸入輸出設備。并能按需享受“云”的強大計算處理能力。也就是說用戶端只需要進行輸入輸出。其它所有計算、存儲、處理等功能全部交給“云”去處理,用戶可以根據自己的需求訂購“云”中的服務。云計算的體系結構在云計算體系結構中，用戶的操作及存儲等服務都由云中的各個服務器完成。根據需求訪問計算機和存儲系統。用戶的系統不需安裝任何軟件,數據也存儲在云的計算機及服務器中。圖1是云計算體系結構的模型。由用戶端、服務目錄、系統管理、配置工具、監控、服務器幾個模塊構成,各模塊負責不同的功能。用戶端：用戶與云系統交互的界面,用戶通過用戶端向云發出請求。服務目錄：顯示該用戶能夠訪問及操作的所有服務的目錄列表，用戶可以在這些目錄里進行選擇操作。系統管理:管理可分配給計算機的各種資源，從而保證負載平衡。配置工具:用戶通過配置工具在分配的服務器節點上配置需要的各種運行環境。監控：監控和計算云系統資源的使用情況,確保資源能順利分配給合適的用戶。服務器集合：云系統中的各個服務器的集合。在云計算體系結構中，用戶通過用戶端訪問服務目錄，選擇所需的服務；當服務請求發送并驗證通過后，由系統管理負責找到所需要的資源；用戶通過用戶端在服務目錄中選取調用一個服務，該命令傳遞到系統管理后，由系統管理選取合適的節點。調用配置工具為用戶準備運行環境。云存儲及其架構模型1.3.1云存儲的定義云存儲指通過集群應用、網格技術或分布式文件系統等功能將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。云存儲可以簡單的理解為云計算中的存儲。云存儲系統可以認為是配置了大容量存儲空間的云計算系統。用戶所有的數據都保存在“云”中，需要時從“云”中讀取，本地不需要任何的存儲設備。云存儲更準精確地說是一種服務，用戶使用的是由許多個存儲設備和服務器所構成的集合體提供的數據訪問服務。1.3.2云存儲的架構模型云存儲系統主要用來進行數據存儲與管理而且處理的數據都是超大規模的。云存儲系統是網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心，通過應用軟件對外提供數據存儲和業務訪問服務。云存儲模型與云計算模型相比，增加了一個存儲層，且基礎管理層增加了與數據管理和數據安全有關的功能。兩者在訪問層和應用接口層則是完全相同的。存儲層主要包括存儲設備及存儲設備管理系統。存儲設備分布在不同地域，彼此之間通過網絡互聯在一起。存儲設備管理系統負責存儲設備的虛擬化管理、多鏈路冗余管理、硬件設備的狀態監控和故障維護、設備升級等。基礎管理層通過集群系統、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作。應用接口層根據用戶訂購的服務為用戶分配權限，為不同的用戶提供不同的API接口及應用軟件，同時提供網絡接入、用戶認證等功能。訪問層包括各種能夠訪問云存儲系統的用戶，用戶可以通過標準的公共應用接口登錄云存儲系統，享受云存儲服務。Hadoop平臺介紹Hadoop是一個能夠對大量數據進行分布式處理的軟件框架。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：⒈高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。⒉高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。⒊高效性。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非常快。⒋高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。Hadoop帶有用Java語言編寫的框架，因此運行在Linux生產平臺上是非常理想的。Hadoop上的應用程序也可以使用其他語言編寫，比如

C++。Hadoop最核心的設計就是分布式文件系統HDFS和Map/Reduce算法模型。分布式文件系統HDFS是專門為Map/Reduce作業所設計的文件系統。但HDFS并不是用來處理隨機存取數據的，HDFS的設計中更多的考慮到了數據批處理，而不是用戶交互處理，比之數據訪問的低延遲問題，更關鍵的在于數據訪問的高吞吐量。因此，HDFS是一個給應用提供高吞吐量的分布式文件系統，可能由成百上千的機器所構成，每個機器上存儲著文件系統的部分數據。計算模型Map/Reduce是Hado