大數(shù)據(jù)技術(shù)與應(yīng)用項(xiàng)目——HDFS環(huán)境搭建原理

項(xiàng)目來(lái)自北京諾程佳華教育科技有限公司教學(xué)目標(biāo)熟悉HDFS的環(huán)境搭建熟悉HDFS的相關(guān)基本概念

HDFS環(huán)境搭建定義

HDFS的全稱為Hadoop分布式文件系統(tǒng)（HadoopDisstributedSystem），是Hadoop的文件系統(tǒng)，是Hadoop項(xiàng)目的核心子項(xiàng)目，是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，是基于流數(shù)據(jù)模式訪問(wèn)和處理超大文件的需求而開(kāi)發(fā)的，可以運(yùn)行于廉價(jià)的商用服務(wù)器上。它所具有的高容錯(cuò)、高可靠性、高可擴(kuò)展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲(chǔ)，為超大數(shù)據(jù)集（LargeDataSet）的應(yīng)用處理帶來(lái)了很多便利。HDFS優(yōu)點(diǎn)適合大數(shù)據(jù)處理適合批處理高容錯(cuò)性可構(gòu)建在廉價(jià)機(jī)器上HDFS缺點(diǎn)1.低延遲數(shù)據(jù)訪問(wèn)1)比如毫秒級(jí)的來(lái)存儲(chǔ)數(shù)據(jù)，這是不行的，它做不到。2)它適合高吞吐率的場(chǎng)景，就是在某一時(shí)間內(nèi)寫入大量的數(shù)據(jù)。但是它在低延時(shí)的情況下是不行的，比如毫秒級(jí)以內(nèi)讀取數(shù)據(jù)，這樣它是很難做到的。2.小文件存取1)存儲(chǔ)大量小文件的話，它會(huì)占用NameNode大量的內(nèi)存來(lái)存儲(chǔ)文件、目錄和塊信息。這樣是不可取的，因?yàn)镹ameNode的內(nèi)存總是有限的。2)小文件存儲(chǔ)的尋道時(shí)間會(huì)超過(guò)讀取時(shí)間3.并發(fā)寫入、文件隨機(jī)修改1)一個(gè)文件只能有一個(gè)寫，不允許多個(gè)線程同時(shí)寫。2)僅支持?jǐn)?shù)據(jù)append（追加），不支持文件的隨機(jī)修改。HDFS構(gòu)架在HDFS中，文件被分成了不同的文件塊（block），文件塊是文件存儲(chǔ)的最小單元，由NameNode節(jié)點(diǎn)管理，實(shí)際存儲(chǔ)在DataNode節(jié)點(diǎn)上。每一個(gè)文件塊都會(huì)在載入時(shí)復(fù)制到不同機(jī)器上，提供高容錯(cuò)性和可用性，默認(rèn)復(fù)制3份，且默認(rèn)的文件塊大小是64MB。在下圖中可以看出，每個(gè)DataNode儲(chǔ)存3個(gè)不同的顏色的block塊。HDFS架構(gòu)HDFS構(gòu)架Client：就是客戶端。1)文件切分。文件上傳HDFS的時(shí)候，Client將文件切分成一個(gè)一個(gè)的Block，然后進(jìn)行存儲(chǔ)。2)與NameNode交互，獲取文件的位置信息。3)與DataNode交互，讀取或者寫入數(shù)據(jù)。4)Client提供一些命令來(lái)管理HDFS，比如啟動(dòng)或者關(guān)閉HDFS。5)Client可以通過(guò)一些命令來(lái)訪問(wèn)HDFS。HDFS構(gòu)架NameNode：就是master，它是一個(gè)主管、管理者。1)管理HDFS的名稱空間。2)管理數(shù)據(jù)塊（Block）映射信息3)配置副本策略4)處理客戶端讀寫請(qǐng)求。DataNode：Slave節(jié)點(diǎn)，NameNode下達(dá)命令，DataNode執(zhí)行實(shí)際的操作。1)存儲(chǔ)實(shí)際的數(shù)據(jù)塊。2)執(zhí)行數(shù)據(jù)塊的讀/寫操作。3)匯報(bào)存儲(chǔ)信息給NameNode。HDFS構(gòu)架SecondaryNameNode：并非NameNode的熱備。當(dāng)NameNode掛掉的時(shí)候，它并不能馬上替換NameNode并提供服務(wù)。1)輔助NameNode，分擔(dān)其工作量。2)定期合并fsimage和fsedits，并推送給NameNode。3)在緊急情況下，可輔助恢復(fù)NameNode。