《大數(shù)據(jù)存儲技術(shù)與應用》實戰(zhàn)篇大數(shù)據(jù)存儲技術(shù)與應用1970年，IBM的研究員（“關系數(shù)據(jù)庫之父”埃德加·弗蘭克·科德（E.F.Codd））發(fā)表了題為“ARelationalModelofDataforLargeSharedDataBanks（大型共享數(shù)據(jù)庫的關系模型）”的論文，首次提出了數(shù)據(jù)庫的關系模型。篇章引入章節(jié)任務大數(shù)據(jù)存儲技術(shù)與應用項目四深入結(jié)構(gòu)化存儲任務一走進結(jié)構(gòu)化數(shù)據(jù)存儲Swift的特性？Swift的應用工作場景？CAP定義？CAP理論？回顧任務引入-MPP技術(shù)Greenplum。該公司成立于2003年，2006年推出了首款產(chǎn)品，其主營業(yè)務關注在數(shù)據(jù)倉庫和商業(yè)智能方面，GreenplumDW/BI軟件可以在虛擬化x86服務器上運行無分享（shared-nothing）的大規(guī)模并行處理（MPP）架構(gòu)。任務描述:本節(jié)任務從認識結(jié)構(gòu)化數(shù)據(jù)、關系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言SQL開始。任務教學目標：領會關系數(shù)據(jù)庫理論基礎。掌握關系數(shù)據(jù)庫模型設計。應用結(jié)構(gòu)化數(shù)據(jù)存儲。任務概要教學內(nèi)容結(jié)構(gòu)化數(shù)據(jù)存儲介紹結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線一二結(jié)構(gòu)化數(shù)據(jù)存儲介紹知識點一

安裝依賴（53&54）結(jié)構(gòu)化數(shù)據(jù)是指可以使用關系型數(shù)據(jù)庫表示和存儲，表現(xiàn)為二維形式的數(shù)據(jù)。通常，采用關系數(shù)據(jù)庫查詢語言SQL來操作結(jié)構(gòu)化數(shù)據(jù)。（一）結(jié)構(gòu)化數(shù)據(jù)典型的結(jié)構(gòu)化數(shù)據(jù)包括：身份證號碼、日期、數(shù)量、金額、地址、電話等。主要應用領域：教務系統(tǒng)、學工系統(tǒng)、CRM系統(tǒng)、一卡通系統(tǒng)等。結(jié)構(gòu)化數(shù)據(jù)通常以行為單位，一行數(shù)據(jù)表示一個實體的信息，每一行數(shù)據(jù)的屬性是相同的。

安裝依賴（53&54）建立在E-R（Entity-Relationship，實體-關系模型）基礎上的數(shù)據(jù)庫，典型的關系數(shù)據(jù)庫如：PostgreSQL、MySQL等。（二）關系數(shù)據(jù)庫

安裝依賴（53&54）結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)簡稱SQL，SQL從功能上可以分為3部分：DDL（DataDefinitionLanguage，數(shù)據(jù)定義語言）、DML（datamanipulationlanguage，數(shù)據(jù)操縱語言）DCL（DataControlLanguage，數(shù)據(jù)控制語言）。（三）結(jié)構(gòu)化查詢語言結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線知識點一

安裝依賴（53&54）大數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線有三種：采用關系數(shù)據(jù)庫存儲架構(gòu)；采用MPP并行數(shù)據(jù)存儲架構(gòu)；基于Hadoop的技術(shù)擴展和封裝。國內(nèi)已經(jīng)廣泛應用于行業(yè)各種數(shù)據(jù)庫，鎖定行業(yè)應用特性，提供數(shù)據(jù)存儲整體解決方案，如華為GaussDB數(shù)據(jù)庫、中興GoldenDB分布式數(shù)據(jù)庫、南大通用GBase數(shù)據(jù)庫、TiDB數(shù)據(jù)庫、武漢達夢數(shù)據(jù)庫、人大金倉KingbaseES數(shù)據(jù)庫等。結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線

安裝依賴（53&54）1.關系數(shù)據(jù)庫存儲架構(gòu)采用關系數(shù)據(jù)庫存儲架構(gòu)技術(shù)來存儲結(jié)構(gòu)化數(shù)據(jù)，通過對關系數(shù)據(jù)庫系統(tǒng)的優(yōu)化來解決大數(shù)據(jù)工程項目中的海量數(shù)據(jù)的存儲和大量用戶的并行訪問問題。如：對開源關系數(shù)據(jù)庫MySQL進行優(yōu)化，構(gòu)建MySQL數(shù)據(jù)庫集群來存儲海量結(jié)構(gòu)化數(shù)據(jù)；部署開源關系對象數(shù)據(jù)庫PostgreSQL系統(tǒng)，構(gòu)建海量結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng)；結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線賴（53&54）2.MPP并行數(shù)據(jù)存儲架構(gòu)MPP（也被稱為SharedNothing架構(gòu)），指有兩個或者多個處理器協(xié)同執(zhí)行一個操作的并行系統(tǒng)，每一個處理器都有其自己的內(nèi)存、操作系統(tǒng)和磁盤。結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)路線

安裝依賴（53&54）Hadoop開源大數(shù)據(jù)技術(shù)，擴展、封裝，衍生出適合特定應用場景的存儲系統(tǒng)和存儲產(chǎn)品。Hadoop技術(shù)擴展和封裝任務小結(jié)通過本節(jié)任務的學習，我們認識了什么是結(jié)構(gòu)化數(shù)據(jù)、關系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言。對結(jié)構(gòu)化數(shù)據(jù)的存儲技術(shù)路線進行了系統(tǒng)的探討和學習。拓展訓練PostgreSQL獨立學習起源于加利福尼亞大學伯克利分校的PostgreSQL作為世界上最先進的開源數(shù)據(jù)庫，已經(jīng)有30多年的歷史，并且以無與倫比的開發(fā)速度繼續(xù)發(fā)展。PostgreSQL的成熟功能不僅與頂級商業(yè)數(shù)據(jù)庫系統(tǒng)匹配，而且在高級數(shù)據(jù)庫功能、可擴展性、安全性和穩(wěn)定性方面超過了它們。學習postgresql官方文檔：/v2/document1.什么是結(jié)構(gòu)化數(shù)據(jù)？2.結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應用》大數(shù)據(jù)存儲技術(shù)與應用項目四深入結(jié)構(gòu)化存儲任務二深入PostgreSQL存儲技術(shù)什么是結(jié)構(gòu)化數(shù)據(jù)？什么是MPP？結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？Hadoop？回顧任務引入-MPP技術(shù)Greenplum。該公司成立于2003年，2006年推出了首款產(chǎn)品，其主營業(yè)務關注在數(shù)據(jù)倉庫和商業(yè)智能方面，GreenplumDW/BI軟件可以在虛擬化x86服務器上運行無分享（shared-nothing）的大規(guī)模并行處理（MPP）架構(gòu)。任務描述:本節(jié)任務從認識結(jié)構(gòu)化數(shù)據(jù)、關系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言SQL開始。任務教學目標：領會關系數(shù)據(jù)庫理論基礎。掌握關系數(shù)據(jù)庫模型設計。應用結(jié)構(gòu)化數(shù)據(jù)存儲。任務概要教學內(nèi)容PostgreSQL概述PostgreSQL安裝配置一二PostgreSQL數(shù)據(jù)類型PostgreSQL數(shù)據(jù)庫設計三四PostgreSQL數(shù)據(jù)表操作PostgreSQL數(shù)據(jù)操作五六PostgreSQL應用案例七PostgreSQL概述知識點一

安裝依賴（53&54）PostgreSQL是以加州大學伯克利分校計算機系開發(fā)的POSTGRES，版本4.2為基礎的對象關系型數(shù)據(jù)庫管理系統(tǒng)（ORDBMS）。POSTGRES領先的許多概念在很久以后才出現(xiàn)在一些商業(yè)數(shù)據(jù)庫系統(tǒng)中。（一）PostgreSQL概述PostgreSQL安裝配置知識點二

安裝依賴（53&54）/download/（二）PostgreSQL安裝配置

安裝依賴（53&54）~$psqlpsql(10.10.0)Type"help"forhelp.postgres=#（二）PostgreSQL安裝配置進入PostgreSQL退出PostgreSQL\q~$PostgreSQL數(shù)據(jù)類型知識點三

安裝依賴（53&54）（三）PostgreSQL數(shù)據(jù)類型PostgreSQL數(shù)據(jù)庫設計知識點四

安裝依賴（53&54）以學生選課為例來學習PostgreSQL邏輯模型和物理模型的設計。學生信息表：學號、姓名、性別、年齡、所在系；課程信息表：課程號、課程名、學分；學生選課信息表：學號、課程號、成績。（四）PostgreSQL數(shù)據(jù)庫設計

安裝依賴（53&54）1.查看數(shù)據(jù)庫（四）PostgreSQL數(shù)據(jù)庫設計

安裝依賴（53&54）2.選擇數(shù)據(jù)庫（四）PostgreSQL數(shù)據(jù)庫設計

3.刪除數(shù)據(jù)庫PostgreSQL數(shù)據(jù)表操作知識點五

安裝依賴（53&54）1.創(chuàng)建學生信息表（五）PostgreSQL數(shù)據(jù)表操作PostgreSQL數(shù)據(jù)操作知識點六

安裝依賴（53&54）1.插入數(shù)據(jù)到學生信息表（六）PostgreSQL數(shù)據(jù)操作PostgreSQL應用案例知識點七

安裝依賴（53&54）以學生選課為案例。學生信息表：學號、姓名、性別、年齡、所在班級；課程信息表：課程號、課程名、學分；學生選課信息表：學號、課程號、成績。本案例可以采用Postgres企業(yè)版本Stork集群實現(xiàn)，Stork是以Postgres為內(nèi)核，在此基礎上開發(fā)的數(shù)據(jù)庫系統(tǒng)；也可以采用開源PostgresSQL版本實現(xiàn)。（七）PostgreSQL應用案例任務小結(jié)通過本節(jié)任務的學習，我們認識了什么是結(jié)構(gòu)化數(shù)據(jù)、關系數(shù)據(jù)庫和結(jié)構(gòu)化查詢語言。對結(jié)構(gòu)化數(shù)據(jù)的存儲技術(shù)路線進行了系統(tǒng)的探討和學習。擴展訓練PostgreSQL獨立學習起源于加利福尼亞大學伯克利分校的PostgreSQL作為世界上最先進的開源數(shù)據(jù)庫，已經(jīng)有30多年的歷史，并且以無與倫比的開發(fā)速度繼續(xù)發(fā)展。PostgreSQL的成熟功能不僅與頂級商業(yè)數(shù)據(jù)庫系統(tǒng)匹配，而且在高級數(shù)據(jù)庫功能、可擴展性、安全性和穩(wěn)定性方面超過了它們。學習postgresql官方文檔：/v2/document1.什么是結(jié)構(gòu)化數(shù)據(jù)？2.結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應用》大數(shù)據(jù)存儲技術(shù)與應用項目四深入結(jié)構(gòu)化存儲任務三深入MPP并行數(shù)據(jù)存儲技術(shù)什么是結(jié)構(gòu)化數(shù)據(jù)？什么是MPP？結(jié)構(gòu)化數(shù)據(jù)存儲的技術(shù)路線？Hadoop？回顧任務引入-MPP技術(shù)Greenplum。該公司成立于2003年，2006年推出了首款產(chǎn)品，其主營業(yè)務關注在數(shù)據(jù)倉庫和商業(yè)智能方面，GreenplumDW/BI軟件可以在虛擬化x86服務器上運行無分享（shared-nothing）的大規(guī)模并行處理（MPP）架構(gòu)。任務描述:節(jié)以開源數(shù)據(jù)庫GreenPlum為基礎系統(tǒng)學習MPP并行數(shù)據(jù)存儲技術(shù)。在任務實踐過程中，可以選擇企業(yè)版本Teryx或開源GreenPlum版本進行部署。任務教學目標：領會關系數(shù)據(jù)庫理論基礎。掌握關系數(shù)據(jù)庫模型設計。應用結(jié)構(gòu)化數(shù)據(jù)存儲。任務概要教學內(nèi)容MPP并行數(shù)據(jù)存儲概述Greenplum數(shù)據(jù)存儲架構(gòu)一二Greenplum數(shù)據(jù)存儲操作Greenplum應用案例三四MPP并行數(shù)據(jù)存儲概述知識點一

安裝依賴（53&54）MPP（MassivelyParallelProcessing，大規(guī)模并行處理）也被稱為SharedNothing架構(gòu)，指有兩個或者多個處理器協(xié)同執(zhí)行一個操作的并行系統(tǒng)，每一個處理器都有其自己的內(nèi)存、操作系統(tǒng)和磁盤。GreenPlum使用這種高性能系統(tǒng)架構(gòu)來分布數(shù)T字節(jié)數(shù)據(jù)負載并且能夠使用系統(tǒng)的所有資源并行處理一個查詢。（一）MPP并行存儲概述Greenplum數(shù)據(jù)存儲操作知識點三

安裝依賴（53&54）GreenPlum數(shù)據(jù)庫是一種大規(guī)模并行處理（MPP）數(shù)據(jù)庫服務器，GreenPlum架構(gòu)特別適合大規(guī)模數(shù)據(jù)分析、機器學習和AI。（二）Greenplum數(shù)據(jù)存儲架構(gòu)Greenplum數(shù)據(jù)存儲架構(gòu)知識點二

安裝依賴（53&54）（三）Greenplum數(shù)據(jù)庫操作1.創(chuàng)建數(shù)據(jù)庫CREATEDATABASEnew_dbname;2.克隆數(shù)據(jù)庫CREATEDATABASEnew_dbnameTEMPLATEold_dbname;3.創(chuàng)建不同Owner的數(shù)據(jù)庫CREATEDATABASEnew_dbnameWITHowner=new_user;4.修改數(shù)據(jù)庫ALTERDATABASEmydatabaseSETsearch_pathTOmyschema,public,pg_catalog;5.刪除數(shù)據(jù)庫DROPDATABASEmydatabase;

安裝依賴（53&54）（三）Greenplum數(shù)據(jù)操作1.Insert操作INSERT語句向GreenPlum數(shù)據(jù)表中添加數(shù)據(jù)。INSERTINTOStudents(SNo,SName,SClass)VALUES('2020101001','李**','2020級大數(shù)據(jù)1班');INSERTINTOStudentsVALUES('2020101001','李**','2020級大數(shù)據(jù)1班');INSERTINTOStudentsSELECT*FROMtmp_StudentsWHERESClass='2019級大數(shù)據(jù)1班';INSERTINTOStudents(SNo,SName,SClass)VALUES('2020101001','李**','2020級大數(shù)據(jù)1班')；

安裝依賴（53&54）（三）Greenplum數(shù)據(jù)操作UPDATE語句更新GreenPlum數(shù)據(jù)表中的數(shù)據(jù)。UPDATEStudentsSETSAge=21WHERESNo='2020101003';3.Delete操作DELETE語句從GreenPlum數(shù)據(jù)表中刪除行。DELETEFROMStudentsWHERESNo='2020101003';4.Truncate操作使用TRUNCATE語句可以快速地清空GreenPlum表中的所有數(shù)據(jù)。TRUNCATEtmp_Students;Greenplum應用案例知識點四

安裝依賴（53&54）（四）Greenplum應用案例Teryx是一款MPP架構(gòu)的分布式數(shù)據(jù)庫引擎，基于GreenPlum開源數(shù)據(jù)庫實現(xiàn)，相比于原生數(shù)據(jù)庫，總體性能有一定提升。本案例基于Teryx實現(xiàn)對score（成績表）的結(jié)構(gòu)化數(shù)據(jù)操作。也可以基于開源Greenplum安裝實現(xiàn)。（