1、大數據和云計算是什么關系？大數據關鍵技術有哪些？課程指導第1頁大數據與云計算關系第2頁大數據處理基本流程第3頁大數據處理關鍵技術hadoop第4頁hadoop組成部分第5頁hadoop HDFS體系結構第6頁hadoop MapReduce處理流程第7頁給定一個巨大文本（如1TB），怎樣計算單詞出現數目？MapReduce實例第8頁使用MapReduce求解該問題定義Map和Reduce函數MapReduce實例第9頁使用MapReduce求解該問題Step 1: 自動對文本進行分割，形成初始對MapReduce實例第10頁使用MapReduce求解該問題Step 2:在分割之后每一對進行用戶

2、定義Map進行處理，再生成新對MapReduce實例第11頁使用MapReduce求解該問題Step 3:對輸出結果集歸攏、排序(系統自動完成）MapReduce實例第12頁使用MapReduce求解該問題Step 4:經過Reduce操作生成最終結果MapReduce實例第13頁什么是NoSQL？NoSQL主要特征是什么？MongoDB有什么作用？課程指導第14頁大數據關鍵技術NoSQLNoSQL是Not Only SQL縮寫，而不是Not SQL，它不一定遵照傳統數據庫一些基本要求，如SQL標準、ACID屬性、表結構等。相比傳統數據庫，叫它分布式數據管理系統更貼切，數據存放被簡化更靈活，重

3、點被放在了分布式數據管理上。第15頁關系數據庫表結構（學生、地址、成績、科目）：StudentsaddressidnamestudentidAddressaddressidaddresscitystatepostalcodeScoresscoreidstudentidcourseidgradeCoursescourseidname什么是NoSQL第16頁NoSQL表結構（學生、地址、成績、科目）：Students_id : 007name : Janeaddress : address : 123 Main St. city : New York state : NY postalcode :

4、 10014scores : Biolgy : 4.0 English : 3.0什么是NoSQL第17頁為何要用NoSQL？大數據特征Volume - 數據量巨大，對TB、PB數據級處理，已經成為基本要求。Variety - 數據多樣性，能處理結構化、非結構化數據，能處理Web數據，甚至語音、圖像、視頻數據。Velocity - 數據實時性，在客戶每次瀏覽頁面，下訂單過程中，都會對用戶進行實時產品推薦，購置決議已經變得非常實時。第18頁為何要用NoSQL？大數據性能要求High performance - 高并發讀寫，高并發、實時動態數據查詢和修改。Huge Storage - 海量數據高效

5、存放和訪問，類似SNS網站，海量用戶信息高效、實時存放和查詢。High Scalability & High Availability - 高可擴展性和高可用性，需要擁有快速橫向擴展能力、提供7*二十四小時不間斷服務。第19頁為何要用NoSQL？關系數據庫處理大數據弱勢面對高并發讀寫需求，數據庫讀寫壓力巨大，硬盤IO無法承受。面對海量數據，數據庫能存放統計數量有限，SQL查詢效率極低。橫向擴展艱難，無法經過快速增加服務器節點實現，系統升級和維護造成服務不可用。第20頁為何要用NoSQL？NoSQL處理大數據優勢數據庫結構簡單，數據間無關系性，這自然就帶來了很高讀寫性能，且易擴展。靈活數據模型，

6、能夠隨時存放自定義數據格式。而在關系數據庫里，增刪字段是件麻煩事。尤其大數據量表，增加字段簡直就是一個噩夢。經過復制模型可實現高可用性，能夠分布布署在低廉PC集群上。支持動態增加、刪除服務器節點，隨時控制硬件投入成本。第21頁NoSQL類型key-value存放第22頁NoSQL類型列式存放第23頁NoSQL類型文檔型存放第24頁NoSQL類型圖結構存放第25頁MongoDB介紹一個分布式文件存放數據庫。功效最豐富、最像關系數據庫產品。數據結構采取JSON格式，所以能夠存放比較復雜數據模型。查詢語言強大，支持索引、MapReduce等功效。面向文檔，以K/V形式存放數據。支持主/從服務器間數據復制和故障恢復。支持自動分片。第26頁誰在用MongoDB？第27頁MongoDB布署方式（一）PrimarySecondary-1Secondary-2Replica Sets架構Primary服務器：將數據同時到多個 Secondary 上。Secondary服務器：熱機備份主服務器上數據，分擔主機讀壓力，當主機發生故障不能工作，隨時接管主機工作。第28頁MongoDB布署方式（二）Sharding是什么？分片是指將數據拆分，將其分散到不一樣服務器上過程。經過分片能夠增加更多服務器，來應對不停增加負載和數據。MongoDB何時需要分片？