Hadoop大數(shù)據(jù)項目開發(fā)——HDFS體系結構目錄content02數(shù)據(jù)節(jié)點塊0405第二名稱節(jié)點01HDFS體系結構03名稱節(jié)點HDFS體系結構HDFS的核心組件是名稱節(jié)點（NameNode）和數(shù)據(jù)節(jié)點（DataNode）。它是一個主/從（master/slave）架構的系統(tǒng)，即一個HDFS集群由一個NameNode和若干DataNode組成。其中，名稱節(jié)點為主節(jié)點，數(shù)據(jù)節(jié)點為從節(jié)點。HDFS的體系結構塊的概述Hadoop2.X版本默認的塊大小為128M。塊是HDFS中的最小存儲單位，并且可以自定義大小。塊按實際大小存儲。拆分出來的塊會有它相應的副本。塊的優(yōu)勢可以存儲任意大小的數(shù)據(jù)文件，不用再受單個節(jié)點磁盤容量大小的限制。簡化了文件存儲子系統(tǒng)的設計，將元數(shù)據(jù)信息和文件數(shù)據(jù)信息分開存儲。有利于實現(xiàn)負載均衡并提高集群可靠性。有利于實現(xiàn)分布式文件系統(tǒng)的容錯性。名稱節(jié)點概述名稱節(jié)點是整個HDFS集群的管家，名稱節(jié)點上存儲的元數(shù)據(jù)信息包括：數(shù)據(jù)塊到數(shù)據(jù)節(jié)點的映射信息。每個文件由哪些數(shù)據(jù)塊組成。文件目錄的所有者及其權限。文件名、目錄名及其層級關系。名稱節(jié)點的數(shù)據(jù)結構元數(shù)據(jù)信息可被持久化到本地磁盤的兩個文件中，分別是元數(shù)據(jù)鏡像文件（fsimage）和事務日志文件(edits）。fsimage存儲著文件系統(tǒng)的所有命名空間信息。edits存儲著HDFS數(shù)據(jù)的事務操作日志。名稱節(jié)點的數(shù)據(jù)結構所謂的持久化，就是指把數(shù)據(jù)保存到可永久保存存儲設備（如磁盤）中。數(shù)據(jù)節(jié)點概述每個數(shù)據(jù)節(jié)點中的數(shù)據(jù)會被保存在各自節(jié)點的本地Linux文件系統(tǒng)中。負責為客戶端或名稱節(jié)點提供數(shù)據(jù)的檢索和讀寫服務，并通過“心跳”定期向名稱節(jié)點發(fā)送自己的塊列表信息。存儲著HDFS文件的真實數(shù)據(jù)，負責數(shù)據(jù)的存儲和讀取第二名稱節(jié)點因為事務日志文件（edits）開始比較小，但隨著對數(shù)據(jù)的不斷修改，事務日志文件（edits）會不斷增大，大到一定程度的時候，又會影響整個系統(tǒng)的功能，由此引入第二名稱節(jié)點。1.對元數(shù)據(jù)鏡像文件（fsimage）和事務日志文件（edits）定期合并，縮短名稱節(jié)點（NameNode）的重啟時間，提高系統(tǒng)性能。2.是名稱節(jié)點的冷備份，因為名稱節(jié)點有可能發(fā)生故障。為什么又引入第二名稱節(jié)點？第二名稱節(jié)點的功能：本節(jié)小結負責管理整個文件