Hadoop大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)——HDFS簡(jiǎn)介目錄content0201HDFS簡(jiǎn)介HDFS實(shí)現(xiàn)目標(biāo)和自身局限性HDFS簡(jiǎn)介HDFS是Hadoop兩大核心組件之一。分布式存儲(chǔ)：HDFS分布式處理：MapReduceHDFS就是為了解決海量數(shù)據(jù)的分布式存儲(chǔ)問(wèn)題。HadoopDistributedFileSystemHDFS簡(jiǎn)介--集群在大數(shù)據(jù)時(shí)代，數(shù)據(jù)量非常大，單個(gè)節(jié)點(diǎn)一臺(tái)計(jì)算機(jī)是無(wú)論如何完成不了海量數(shù)據(jù)的存儲(chǔ)，我們需要借助計(jì)算機(jī)集群存儲(chǔ)海量數(shù)據(jù)。單機(jī)無(wú)法存儲(chǔ)集群分布式存儲(chǔ)HDFS簡(jiǎn)介--集群每個(gè)豎排代表一個(gè)機(jī)架，每個(gè)機(jī)架上擺放了好多機(jī)器，每個(gè)機(jī)器稱(chēng)為一個(gè)節(jié)點(diǎn)，在企業(yè)一個(gè)機(jī)架可以擺放30-40個(gè)節(jié)點(diǎn)，機(jī)架和機(jī)架之間是通過(guò)光纖交換機(jī)來(lái)完成彼此之間的網(wǎng)絡(luò)互聯(lián)。在這個(gè)集群中，HDFS把整個(gè)文件分布的存儲(chǔ)在這些機(jī)器里。HDFS簡(jiǎn)介分布式文件系統(tǒng)解決了大數(shù)據(jù)存儲(chǔ)問(wèn)題，是橫跨在多臺(tái)計(jì)算機(jī)上的存儲(chǔ)系統(tǒng)；分布式文件系統(tǒng)在大數(shù)據(jù)時(shí)代有著廣泛的應(yīng)用前景，為存儲(chǔ)和處理超大規(guī)模數(shù)據(jù)提供擴(kuò)展能力；分布式文件系統(tǒng)適用于一次寫(xiě)入，多次讀出的場(chǎng)景，且不支持文件的修改，適合用來(lái)做數(shù)據(jù)分析。HDFS的實(shí)現(xiàn)目標(biāo)成本低流式數(shù)據(jù)訪問(wèn)適合處理大數(shù)據(jù)高容錯(cuò)性大文件存儲(chǔ)成本低HDFS集群可構(gòu)建在廉價(jià)計(jì)算機(jī)上，通過(guò)多副本機(jī)制，提高可靠性。個(gè)人計(jì)算機(jī)搭建大數(shù)據(jù)集群HDFS的實(shí)現(xiàn)目標(biāo)適合流式數(shù)據(jù)訪問(wèn)HDFS的數(shù)據(jù)處理規(guī)模比較大，應(yīng)用程序一次需要訪問(wèn)大量的數(shù)據(jù)，HDFS的設(shè)計(jì)目標(biāo)就是全部數(shù)據(jù)全部讀寫(xiě)，它不適合訪問(wèn)整個(gè)文件中的一個(gè)子集。HDFS是為滿足海量數(shù)據(jù)的批量處理而設(shè)計(jì)的。HDFS的實(shí)現(xiàn)目標(biāo)適合處理大數(shù)據(jù)HDFS可橫向擴(kuò)展，其存儲(chǔ)的數(shù)據(jù)規(guī)模：能夠處理數(shù)據(jù)規(guī)模達(dá)到PB級(jí)別的數(shù)據(jù)；文件規(guī)模：能夠處理百萬(wàn)規(guī)模以上的文件數(shù)量；節(jié)點(diǎn)規(guī)模：能夠處理10K節(jié)點(diǎn)的規(guī)模。HDFS的實(shí)現(xiàn)目標(biāo)高容錯(cuò)性數(shù)據(jù)保存多個(gè)副本，副本丟失后自動(dòng)恢復(fù)；構(gòu)建在廉價(jià)的計(jì)算機(jī)上，容易實(shí)現(xiàn)線性擴(kuò)展，當(dāng)集群增加新節(jié)點(diǎn)之后，名稱(chēng)節(jié)點(diǎn)（NameNode）也可以感知，進(jìn)行負(fù)載均衡，將數(shù)據(jù)分發(fā)和備份數(shù)據(jù)均衡到新的節(jié)點(diǎn)上。HDFS的實(shí)現(xiàn)目標(biāo)適合大文件存儲(chǔ)HDFS采用數(shù)據(jù)塊的方式存儲(chǔ)數(shù)據(jù)，將數(shù)據(jù)物理切分成多個(gè)小的數(shù)據(jù)塊；當(dāng)用戶讀取時(shí)，重新將多個(gè)小數(shù)據(jù)塊拼接起來(lái)。HDFS的實(shí)現(xiàn)目標(biāo)0203不適合低延遲數(shù)據(jù)訪問(wèn)無(wú)法高效存儲(chǔ)大量小文件不支持多用戶寫(xiě)入及文件隨機(jī)修改01HDFS自身的局限性不適合低延遲數(shù)據(jù)訪問(wèn)HDFS不適合低延遲數(shù)據(jù)訪問(wèn)，比如毫秒級(jí)以內(nèi)讀取數(shù)據(jù)或者存儲(chǔ)數(shù)據(jù)，HDFS是很難做到的。HDFS自身的局限性無(wú)法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)文件存儲(chǔ)會(huì)占用名稱(chēng)節(jié)點(diǎn)的內(nèi)存來(lái)存儲(chǔ)文件目錄和塊信息，存儲(chǔ)大量小文件就會(huì)耗費(fèi)大量的內(nèi)存，名稱(chēng)節(jié)點(diǎn)的內(nèi)存總是有限的。HDFS自身的局限性HDFS自身的局限性HDFS不支持多用戶寫(xiě)入和文件隨機(jī)修改HDFS目前不支持并發(fā)多用戶的寫(xiě)操作和文件的隨機(jī)修改，寫(xiě)操作只能在文件末尾追加數(shù)據(jù)，一個(gè)文件只能有一個(gè)寫(xiě)，不允許多個(gè)線程同時(shí)寫(xiě)。本章小結(jié)本節(jié)我