大數據基礎與實務項目四數據存儲和管理數據存儲概述任務一任務描述知識準備課堂研討拓展訓練目錄CONTENTSONETWOTHREEFOUR任務描述自人類誕生以來，數據的存儲就一直伴隨人們左右。最早的原始人類采用結繩記事的方式實現數據的記錄與存儲，后來商代利用甲骨文記錄信息，西周和春秋時期則利用竹簡作為信息記錄的載體，再到東漢造紙術的成功出現都持續地體現了數據存儲對人類生活的重要性。從公元1900年到現在，人們相對較快地經歷了機器打孔、電子存儲計算器、在線數據庫、關系型數據庫、多類型數據處理5個階段后，正式進入了大數據處理階段。小明不禁有些疑惑，該怎樣向學弟學妹們解釋數據存儲的概念呢？數據存儲的方式又有哪些？它們有什么異同呢？知識準備

數據存儲是指數據流在加工過程中產生的臨時文件或加工過程中需要查找的信息。定義數據存儲的概念一數據以某種格式記錄在計算機內部或外部存儲介質上。常用的存儲介質為磁盤和磁帶。知識準備數據存儲的方式二（一）DAS（DirectAttachedStorage）直接附加存儲

DAS這種存儲方式與普通的PC存儲架構一樣，外部存儲設備都是直接掛接在服務器內部總線上，數據存儲設備是整個服務器結構的一部分。

DAS存儲方式主要適用的環境小型網絡地理位置分散的網絡提高DAS存儲性能特殊應用服務器知識準備數據存儲的方式二（二）NAS（NetworkAttachedStorage）數據存儲方式

NAS（網絡附加存儲）方式全面改進了以前低效的DAS存儲方式。NAS是通過網線連接的磁盤陣列，具備磁盤陣列的所有主要特征：高容量、高效能、高可靠。NAS是部件級的存儲方法。NAS的缺點真正的即插即用存儲部署簡單存儲設備位置非常靈活管理容易且成本低NAS的優點存儲性能較低可靠度不高知識準備數據存儲的方式二（三）SAN（StorageAreaNetwork）存儲方式

SAN存儲方式創造了存儲的網絡化。存儲網絡化順應了計算機服務器體系結構網絡化的趨勢。SAN的支撐技術是光纖通道（FCFiberChannel）技術。它是ANSI為網絡和通道/O接口建立的一個標準集成。SAN的硬件基礎設施是光纖通道，用光纖通道構建的SAN由以下三個部分組成：包括備份軟件、存儲資源管理軟件和存儲設備管理軟件

包括磁帶、磁盤和光盤庫等

包括主機總線適配卡、驅動程序、光纜、集線器、交換機、光纖通道和SCSI間的橋接器1.存儲和備份設備2.光纖通道網絡連接部件3.應用和管理軟件知識準備數據存儲的方式二（三）SAN（StorageAreaNetwork）存儲方式

SAN的優勢網絡部署容易高速存儲性能因為SAN采用了光纖通道技術，所以它具有更高的存儲帶寬，存儲性能明顯提高。SAN的光纖通道使用全雙工串行通信原理傳輸數據，傳輸速率高達1062.5Mb/s。良好的擴展能力由于SAN采用了網絡結構，擴展能力更強。光纖接口提供了10公里的連接距離，這使得實現物理上分離，不在本地機房的存儲變得非常容易。知識準備數據存儲方式的比較三

DAS、NAS和SAN三種存儲方式比較存儲應用最大的特點是沒有標準的體系結構，這三種存儲方式共存，互相補充，已經很好滿足企業信息化應用。從連接方式上看：DASNASSAN采用了存儲設備直接連接應用服務器，具有一定的靈活性和限制性通過網絡（TCPIP，ATMFDD）技術連接存儲設備和應用服務器，存儲設備位置靈活，隨著萬兆網的出現，傳輸速率有了很大的提高通過光纖通道（FibreChannel）技術連接存儲設備和應用服務器，具有很好的傳輸速率和擴展性能課堂研討數據存儲方式的變化給人們的生活帶來了哪些變化？拓展訓練01簡述你所了解的生活中數據存儲的情形。謝謝觀看大數據基礎與實務項目四數據存儲和管理傳統的數據存儲和管理技術任務二任務描述知識準備課堂研討拓展訓練目錄CONTENTSONETWOTHREEFOUR小明發現，由于云計算、物聯網、社交網絡的發展使人類社會的數據產生方式發生了變化，社會數據的規模正在以前所未有的速度增長，數據的種類不勝枚舉。這種海量、異構的數據不僅改變人們的生活，也帶來了數據存儲技術的變革與發展。那么在傳統的數據存儲中用到了哪些管理技術呢？任務描述知識準備文件系統是操作系統用于明確存儲設備（常見的是磁盤，也有基于NANDFlash的固態硬盤）或分區上的文件的方法和數據結構；即在存儲設備上組織文件的方法。操作系統中負責管理和存儲文件信息的軟件機構稱為文件管理系統，簡稱文件系統。定義一文件系統文件系統由三部分組成：文件系統的接口對對象操縱和管理的軟件集合對象及屬性知識準備二關系數據庫

目前市場上常見的關系數據庫產品包括Oracle、SQLServer、MySQL、DB2等。一個關系數據庫可以看成是許多關系表的集合，每個關系表可以看成一張二維表格，如表4-1學生信息表所示。知識準備二關系數據庫

關系數據庫的特點序號項目內容1存儲方式采用表格的儲存方式，數據以行和列的方式進行存儲，要讀取和查詢都十分方便2存儲結構按照結構化的方法存儲數據，每個數據表的結構都必須事先定義好，然后再根據表的結構存入數據，但數據模型不夠靈活，存入后修改困難3存儲規范把數據按照最小關系表的形式進行存儲。當存在多個表時，表和表之間通過主外鍵關系發生關聯，并通過連接查詢獲得相關結果。4擴展方式一般的關系型數據庫只具備有限的縱向擴展能力5查詢方式采用結構化查詢語言（即SQL：StructuredQueryLanguage）來對數據庫進行查詢6事務性可以支持事務的ACID特性（原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）、持久性（Durability））7連接方式不同的關系數據庫產品都遵守一個統一的數據庫連接接口標準，即ODBC（OpenDatabaseConnectivity）知識準備三數據倉庫

數據倉庫（DataWarehouse）是一個數據集合，用于支持管理決策。特點數據倉庫中的數據是按照一定的主題域進行組織，一個主題通常與多個操作型信息系統相關。面向主題在構建數據倉庫時，會每隔一定的時間（比如每周、每天或每小時）從數據源抽取數據并加載到數據倉庫。反映歷史變化數據倉庫是不可更新的，數據倉庫主要是為決策分析提供數據，所涉及的操作主要是數據的查詢。相對穩定數據倉庫的數據來自于分散的操作型數據，將所需數據從原來的數據中抽取出來，進行加工與集成、統一與綜合之后才能進入數據倉庫。集成知識準備三數據倉庫

如圖4-1所示，一個典型的數據倉庫系統通常包含數據源、數據存儲和管理、OLAP服務器、前端工具和應用等四個部分。圖4-1數據倉庫體系架構知識準備四并行數據庫定義：在無共享的體系結構中進行數據操作的數據庫系統。關系表的水平劃分和SQL查詢的分區執行兩個關鍵技術高性能和高可用性目標沒有較好的彈性系統的容錯性較差主要缺點并行數據庫課堂研討傳統的數據存儲與管理技術有哪些特點？拓展訓練01請在網上查找有關傳統的數據存儲與管理技術的應用實例。課堂研討比較傳統的數據存儲與管理技術與大數據時代的數據存儲與管理技術有什么異同。謝謝觀看大數據基礎與實務項目四數據存儲和管理大數據時代的數據存儲和管理技術任務三任務描述知識準備課堂研討拓展訓練目錄CONTENTSONETWOTHREEFOUR存儲本身就是大數據中一個很重要的組成部分，隨著大數據技術的到來，對于結構化、半結構化、非結構化的數據存儲也呈現出新的要求，特別對統一存儲也有了新的變化。大數據集容易消耗巨大的時間和成本，從而造成非結構化數據的雪崩。也即是說如果沒有合適的大數據存儲方式，就不能輕松訪問或部署大量數據。于是小明想知道大數據時代的數據存儲與管理技術優勢是怎樣的呢？任務描述知識準備

分布式文件系統（DistributedFileSystem）是一種通過網絡實現文件在多臺主機上進行分布式存儲的文件系統。定義分布式文件系統一作用：可以有效解決數據的存儲和管理難題：將固定于某個地點的某個文件系統，擴展到任意多個地點/多個文件系統，眾多的節點組成一個文件系統網絡。知識準備分布式文件系統一分布式文件系統的發展的三個階段第一階段是網絡文件系統第二階段是共享SAN文件系統第三階段是面向對象的并行文件系統知識準備分布式文件系統一圖4-2分布式文件系統的整體結構知識準備NewSQL和NoSQL數據庫二（一）NewSQL數據庫

NewSQL是對各種新的可擴展、高性能數據庫的簡稱，這類數據庫不僅具有對海量數據的存儲管理能力，還保持了傳統數據庫支持ACID和SQL等特性。定義目前具有代表性的NewSQL數據庫主要包括Spanner、Clustrix、GenieDB、ScalArc、Schooner、VoltDB、RethinkDB、ScaleDB、Akiban、CodeFutures、ScaleBase、Translattice、NimbusDB、Drizzle、Tokutek、JustOneDB等。知識準備NewSQL和NoSQL數據庫二（二）NoSQL數據庫

NoSQL是一種不同于關系數據庫的數據庫管理系統設計方式，是對非關系型數據庫的統稱，它所采用的數據模型并非傳統關系數據庫的關系模型，而是類似鍵/值、列族、文檔等非關系模型。定義NoSQL數據庫沒有固定的表結構，通常也不存在連接操作，也沒有嚴格遵守ACID約束，因此，與關系數據庫相比，NoSQL具有靈活的水平可擴展性，可以支持海量數據存儲。知識準備NewSQL和NoSQL數據庫二（三）大數據引發數據庫架構變革美國著名數據庫科學家邁克爾·斯通布雷克（Michael·Stonebraker）指出，行業技術的發展趨勢是由一種架構支持所有應用轉變為用多種架構支持多類應用。在大數據和云計算的背景下，這一理論導致了數據庫市場的大裂變：數據庫市場分化為三大陣營，包括OldSQL（傳統數據庫）、NewSQL（新型數據庫）和NoSQL（非關系型數據庫）。邁克爾·斯通布雷克知識準備NewSQL和NoSQL數據庫二（三）大數據引發數據庫架構變革圖4-3大數據引發數據庫架構變革知識準備云數據庫三研究機構IDC預言，大數據將按照每年60%的速度增加，其中包含結構化和非結構化數據。如何方便、快捷、低成本地存儲這些海量數據，是許多企業和機構面臨的一個嚴峻挑戰。云數據庫就是一個非常好的解決方案。通過云技術推出更多可在公有云中托管數據庫的方法，將用戶從繁瑣的數據庫硬件定制中解放出來讓用戶擁有強大的數據庫擴展能力，滿足海量數據的存儲需求能夠很好地滿足企業動態變化的數據存儲需求和中小企業的低成本數據存儲需求云數據庫優點123知識準備云數據庫三圖4-4關系數據庫、NoSQL、NewSQL和云數據庫產品分類課堂研討比較傳統的數據存儲與管理技術與大數據時代的數據存儲與管理技術有什么異同。拓展訓練01請在網上查找有關大數據時代的數據存儲與管理技術的應用實例。謝謝觀看大數據基礎與實務項目四百度網盤存儲服務百度網盤存儲服務任務四任務描述知識準備課堂研討拓展訓練目錄CONTENTSONETWOTHREEFOUR任務描述

網盤，是由互聯網公司推出的在線存儲服務，能為用戶提供文件的存儲、訪問、備份、共享等文件管理等功能。自2012年百度推出百度網盤之后，各大互聯網移動公司都推出了自己的網盤服務，如115網盤、騰訊微云、金山快盤、華為網盤等，網盤服務極大地方便了信息化時代人們的生活。

知識準備

百度網盤個人版是百度面向個人用戶的網盤存儲服務，滿足用戶工作生活各類需求，已上線的產品包括網盤、個人主頁、群組功能、通訊錄、相冊、人臉識別、文章、記事本、短信、手機找回。百度網盤功能百度網盤的功能一知識準備

在瀏覽器中輸入百度網盤網址（/），并登