大數據存儲緒論隨著互聯網、物聯網及云計算等技術的快速興起，人類社會中數據的增長方式與以往任何時期都有了巨大的不同。不僅數據規模越來越大，數據形式越來越復雜，數據的更新速度越來越快，數據與人們生活的密切程度也越來越高。據美國互聯網數據中心研究，僅僅互聯網上的數據每年就呈現50%左右的增長。除此之外，全世界的工業設備、交通工具、生活電器、移動終端，也都隨時測量和傳遞著有關震動、位置、溫度、濕度乃至人類之間相互聯系的變化情況，海量數據已成為目前數據信息最明顯的標簽之一。人類已經進入了一個“大數據”時代，數據的規模更加龐大，數據的種類不再單一，快速查詢、定位并提供數據的要求也越來越高，與此緊密相關的數據存儲與傳統的數據存儲相比亦發生了巨大變化。項目描述項目背景為后續更好地學習大數據存儲的相關知識，本項目將通過大數據簡介及大數據存儲技術的介紹，讓讀者對大數據技術體系及大數據存儲技術有一定的了解，為真正生產環境中的存儲技術選型奠定好架構設計的基礎。項目描述項目目標隨著互聯網、物聯網及云計算等技術的快速興起，人類社會中數據的增長方式與以往任何時期都有了巨大的不同。不僅數據規模越來越大，數據形式越來越復雜，數據的更新速度越來越快，數據與人們生活的密切程度也越來越高。據美國互聯網數據中心研究，僅僅互聯網上的數據每年就呈現50%左右的增長。除此之外，全世界的工業設備、交通工具、生活電器、移動終端，也都隨時測量和傳遞著有關震動、位置、溫度、濕度乃至人類之間相互聯系的變化情況，海量數據已成為目前數據信息最明顯的標簽之一。人類已經進入了一個“大數據”時代，數據的規模更加龐大，數據的種類不再單一，快速查詢、定位并提供數據的要求也越來越高，與此緊密相關的數據存儲與傳統的數據存儲相比亦發生了巨大變化。項目描述項目分析1大數據的存儲技術目錄大數據簡介2大數據存儲是大數據技術體系中的一部分。為此，了解大數據的概念、特征和應用領域，熟悉大數據技術體系，是理解大數據存儲技術的前提和基礎。任務描述

“大數據”一詞早在上世紀80年代就已提出，并于2009年開始成為IT行業的流行詞匯，但作為一個較為抽象的概念，至今業界還沒有對“大數據”給出一個確切、統一的定義。維基百科：在合理的時間內，無法運用傳統的數據庫管理工具或數據處理軟件，完成捕獲、管理和處理等功能的大型而復雜的數據集。麥肯錫：大數據是指在一定時間內無法用傳統數據庫軟件工具采集、存儲、管理和分析其內容的數據集合。Gartner：大數據是指需要借助新的處理模式才能擁有更強的決策力、洞察發現力和流程優化能力的具有海量、多樣化和高增長率等特點的信息資產。大數據的概念大數據的特征處理速度快數據價值密度低數據種類多數據規模大目前，大數據已滲透到各行業和各業務職能領域。電商行業：通過海量的商品交易數據，不僅可以統計出消費熱點、客戶的消費習慣、消費特點、影響消費的因素等，還能預測出消費趨勢、流行趨勢等。醫療行業：在疫情追蹤、溯源與預警、輔助醫療救治、助力資源合理配置及輔助決策中得到廣泛應用，提升各地疫情防控工作效率。為防控“戰役”提供了重要支持。交通行業：通過提前預測道路交通情況，為出行提供優化方案，在助力交通部門提高道路交通把控能力，防止和緩解交通擁堵等方面起到了極為重要的作用。大數據的應用領域

大數據的技術體系，就是以從各種類型海量數據中快速獲取有價值的信息為目的，由大量在大數據領域涌現出的數據采集、存儲、處理和呈現等相關技術所組成的相互聯系的技術整體。大數據的技術體系1大數據的存儲技術目錄大數據簡介2數據可以存儲在文件、數據庫或數據倉庫中。為此，首先解釋3種數據存儲的方式，然后對數據庫存儲中常用的分布式數據庫進行簡要介紹。任務描述數據存儲簡介1.基于文件系統的數據存儲分布式文件系統架構圖文件系統是操作系統用于在分區上、存儲設備上負責組織、存取與管理文件的機構，主要由3部分組成：與文件管理有關軟件、被管理的文件以及實施文件管理所需的數據結構。其中，被管理的文件，即數據，是以文件的形式存儲在各存儲設備上，并由操作系統統一管理。數據存儲簡介2.基于數據庫的數據存儲數據庫（Database）就是按照一定的數據結構（數據的組織形式或數據之間的聯系）進行組織、存儲和管理數據的倉庫。通過數據庫提供的多種方式可以方便地管理數據庫里的數據。T指采用了關系模型來組織數據的數據庫，以由行和列所組成的二維表格的形式存儲數據。指那些非嚴格關系型的、分布式的、不保證遵循ACID原則的數據庫關系型數據庫非關系型數據庫數據存儲簡介2.基于文件系統的數據存儲關系型數據庫與非關系型數據庫是人類社會在處理數據不同階段而出現的不同產物，分別適用于不同的場景。關系型數據庫非關系型數據庫優勢易理解建表靈活易使用儲存靈活易維護處理數據量巨大不足海量數據處理效率低復雜查詢能力弱數據庫系統升級或擴展時，需要停機事務處理能力弱數據存儲簡介3.基于數據倉庫的數據存儲數據倉庫存儲的主要是歷史數據，并通過維度表用于對數據的分析。數據倉庫通過系統的分析、整理和組織大量的歷史數據，以聯機分析處理（OLAP）和數據挖掘等各種方法，幫助決策者快速有效的從大量數據中，分析出有價值的信息，以實現輔助決策，構建商業智能。0面向主題0集成0相對穩定0反應歷史變化分布式數據庫簡介1.分布式數據庫及其管理系統分布式數據庫是在傳統集中式數據庫的基礎上發展而來的，是針對大數據存儲管理而快速發展起來的關鍵技術，是數據庫技術和網絡技術不斷發展、互相融合、互相促進的結果。其基本思想是借助計算機網絡技術，將海量數據分散存儲在網絡中的不同存儲節點，并通過分布式計算技術，將這些分散的物理存儲單元連接起來組成一個邏輯上統一的數據庫，從而在獲取更大存儲容量的同時，實現更高的并發訪問量。分布式數據庫管理系統是一種專門為分布式數據庫所設計的，用于建立、使用和維護分布式數據庫的大型軟件，通過借助存儲引擎和計算引擎，對分布式數據庫進行統一的管理，以保證分布式數據庫的安全性和完整性。分布式數據庫2.NoSQL數據庫的特點靈活的數據模型可擴展性強高可用性高并發性NoSQL（Not

Only

SQL，可意為“不僅僅是SQL”）數據庫，是對不同于傳統的關系數據庫的統稱。0000分布式數據庫3.NoSQL數據庫的分類鍵值數據庫Redis、SimpleDB列族數據庫文檔數據庫圖形數據庫HBase、BigTableMongoDB、CruchDBNeo4J、GraphDB在大數據的儲存與處理上，NoSQL具備傳統關系型數據庫無法比擬的性能優勢。隨著人們對非關系型數據庫的日益重視，目前已開發出眾多性能優秀的NoSQL數據庫產品。人類已經進入了一個“大數據”時代，數據的