大數據平臺搭建與配置管理第11頁共11頁《大數據平臺搭建與配置管理》期中試題期中試題（閉卷A）題號一二三四五六七八九十成績滿分30202030100得分【本套試卷共有4大題，計66小題】一、選擇題（20題，每題1.5分，共30分）1、Client端上傳文件的時候下列正確的是（）。A.數據經過NameNode傳給DataNodeB.Client只上傳數據到一臺DataNodeC.Client端將文件切分為Block，依次上傳D.NameNode負責Block復制工作2、HDFS的NameNode負責管理文件系統的命名空間，將所有的文件和文件夾的元數據保存在一個文件系統樹中，這些信息也會在硬盤上保存成一下文件（）。A.日志B.命名空間鏡像C.兩者都是D.以上都不是3、MapReduce框架提供了一種序列化鍵/值對的方法，支持這種序列化的類能夠在Map和Reduce過程中充當鍵或值，以下說法錯誤的是？（）A.實現Writable接口的類是值B.實現WritableComparable接口的類可以是值或鍵C.Hadoop的基本類型Text并不實現WritableComparable接口D.鍵和值的數據類型可以超出Hadoop自身支持的基本類型4、對MapReduce的體系結構，以下說法不正確的是（）A.分布式編程架構B.以數據為中心，更看重吞吐率C.分而治之的思想D.將一個任務合并成多個子任務5、在創建Linux分區時，一定要創建（）兩個分區。A.FAT/NTFSB.FAT/SWAPC.NTFS/SWAPD.SWAP/根分區6、下面哪個命令是用來定義shell的全局變量（）。A.exportfsB.aliasC.exportsD.export7、ZooKeeper可以實現（）。A.高吞吐量和低延遲數量B.高吞吐量和高延遲數量C.低吞吐量和低延遲數量D.低吞吐量和高延遲數量8、分布式應用正在運行的一組系統稱為（）。A.集群B.分布式系統C.單元D.組9、查詢速度的提升是以額外的（）為代價的。A.創建索引B.創建索引和存儲索引C.刪除索引D.存儲索引10、Hive的元數據不能夠存儲在哪些位置？（）A.mysqlB.derbyC.oracleD.文本文件11、HBase依賴（）提供消息通信機制。A.ZookeeperB.ChubbyC.RPCD.Socket12、LSM含義是？（）A.日志結構合并樹B.二叉樹C.平衡二叉樹D.長平衡二叉樹13、HFile數據格式中的Data字段用于（）。A.存儲實際的KeyValue數據B.存儲數據的起點C.指定字段的長度D.存儲數據塊的起點14、下列不屬于StreamGrouping方式的是（）。A.ShuffleGroupingB.AllGroupingC.FieldsGroupingD.newGrouping15、Storm會在集群內分配對應并行度個數的（）來同時執行這一組件。A.哈希值B.ThriftC.task線程D.Worker進程16、Storm可以用來實時處理新數據和（）。A.刪除數據庫B.更新數據庫C.刪除節點D.更新表17、MapReduce編程模型，鍵值對<key,value>的key必須實現哪個接口？（）。A.WritableComparableB.ComparableC.WritableD.LongWritable18、HBase數據庫的BlockCache緩存的數據塊中，哪一項不一定能提高效率（）。A.–ROOT-表B..META.表C.HFileindexD.普通的數據塊19、HBase的Region組成中，必須要有以下哪一項（ ）。A.StoreFileB.MemStoreC.MetaStoreD.HFile20、設計分布式數據倉庫hive的數據表時，為取樣更高效，一般可以對表中的連續字段進行什么操作（）。A.分桶B.分區C.索引D.分表二、填空題（20題，每題1分，共10分）21、Spouts會從外部讀取流數據并持續發出。22、當Spout或者Bolt發送元組時，它會把元組發送到每個訂閱了該的Bolt上進行處理。23、Storm采用了來作為分布式協調組件。24、HBase分布式模式最好需要個節點。25、LSM結構的數據首先存儲在。26、HBase中Hmaster負責監控的生命周期。27、Hive遠程服務通過方式訪問Hive。28、Hive不支持的更新。29、Hive非常適合于對那些只在文本末尾添加數據的大型數據集進行。30、分布式應用程序可以基于Zookeeper實現諸如數據發布/訂閱、、命名服務、分布式協調/通知、、、分布式鎖和分布式隊列等功能。31、注冊成臨時節點后，再服務端出問題時，節點會自動的從zookeeper上。32、ZooKeeper提供了一項基本服務是。33、計算過程高度抽象到兩個函數和。34、每一個小數據都可以完全地進行處理。35、大規模數據集的處理包括兩個核心環節。36、ResourceManager默認的WebUI訪問端口號為：。37、Hadoop集群搭建中常用的4個配置文件為：、hdfs-site.xml、mapred-site.xml、。38、HA產生的背景是。39、網絡管理兩個重要任務分別是：和。40、命令是刪除文件命令。三、判斷題，正確填“T”，錯誤填“F”（20題，每題1分，共20分）41、Hadoop支持數據的隨機讀寫（）。42、NameNode負責管理元數據信息metadata，client端每次讀寫請求，它都會從磁盤中讀取或會寫入metadata信息并反饋給client端（）。43、MapReduce的inputsplit一定是一個block（）。44、鏈式MapReduce計算中，對任意一個MapReduce作業，Map和Reduce階段可以有無限個Mapper，但Reducer只能有一個（）。45、HBase對于空（NULL）的列，不需要占用存儲空間。（）。46、MapReduce適于PB級別以上的海量數據在線處理（）。47、MapReduce計算過程中，相同的key默認會被發送到同一個reducetask處理（）。48、HBase可以有列，可以沒有列族（columnfamily）（）。49、/tmp目錄主要用于存儲程序運行時生成的臨時文件（）。50、Linux系統以文本文件的形式保存大備份系統日志，如lastlog（）。51、Hadoop是Java開發的，所以MapReduce只支持Java語言編寫（）。52、NameNode負責管理metadata，client端每次讀寫請求，它都會從磁盤中讀取或者會寫入metadata信息并反饋給client端（）。53、MapReduce程序可以直接讀取HBase內存儲的數據內容。（）54、所有消息交換都是通過MapReduce框架自身去實現的。（）55、更新ZooKeeper操作是非阻塞式的。（）56、在分布式鎖服務中，就是通過對集群進行Master選舉，來解決分布式系統中的單點故障。（）57、分區的主要好處是加快查詢速度。（）58、Hive創建內部表時，會將數據移動到數據倉庫指向的路徑。（）。59、MapReduce程序可以直接讀取HBase內存儲的數據內容。（）60、使用Shell命令insert對HBase中的一張表進行數據添加操作。（）四、簡答題（6題，每題5分，共30分）61、簡述HBase的主要技術特點。答：62、HBase有哪些類型的訪問接口？答：63、是否所有的MapReduce程序都需要經過Map和Reduce這兩個過程？如果不是，請舉例說明。答：64、請描述HDFSHA架構組成組建及其具體功能。答：65、hadoop節點動態上線下線怎么操作?答：66、HAnamenode是如何工作的？答：《大數據平臺搭建與配置管理》期中標答期中標答A（閉卷）題號一二三四五六七八九十成績滿分30202030100得分一、選擇題（20題，每題1.5分，共30分）1-5：CCCDD 6-10：DAABD11-15：AAADC16-20：BADBA二、填空題（20題，每題1分，共20分）21、Tuple 22、Stream23、Zookeeper24、325、內存中26、RegionServer27、JDBC28、級別29、批處理30、負載均衡集群管理Master選舉31、刪除32、分布式鎖33、MapReduce34、并行35、分布式存儲和分布式計算36、808837、core-site.xmlyarn-site.xml38、為了解決單NN那可能會出現宕機導致集群不可用或數據丟失的問題39、監控控制40、rm三、判斷題（20題，每題1分，共20分）41-45：FFFTT46-50：FFFTF51-55：FFTTT56-60：TTTTF四、簡答題（6題，每題5分，共60分）61、答：（1）列式存儲（2）表數據是稀疏的多維映射表（3）讀寫的嚴格一致性（4）提供很高的數據讀寫速度（5）良好的線性可擴展性（6）提供海量數據（7）數據會自動分片（8）對于數據故障，hbase是有自動的失效檢測和恢復能力。（9）提供了方便的與HDFS和MAPREDUCE集成的能力62、答：HBase提供了NativeJavaAPI,HBaseShell，ThriftGateway,RESTGateWay,Pig,Hive等訪問接口。63、答：不是。略64、答：在一個典型的HA集群中，一般設置兩個名稱節點，其中一個名稱節點處于“活躍”狀態，另一個處于“待命”狀態。處于活躍狀態的名稱節點負責對外處理所有客戶端的請求，而處于待命狀態的名稱節點則作為備用節點，保存了足夠多的系統元數據，當名稱節點提供了“熱備份”，一旦活躍名稱節點出現故障，就可以立即切換到待命名稱節點，不會影響到系統的正常對外服務。65、答：1）節點上線操作：當要新上線數據節點的時候，需要把數據節點的名字追加在dfs.hosts文件中（1）關閉新增節點的防火墻（2）在NameNode節點的hosts文件中加入新增數據節點的hostname（3）在每個新增數據節點的hosts文件中加入NameNode的hostname（4）在NameNode節點上增加新增節點的SSH免密碼登錄的操作（5）在NameNode節點上的dfs.hosts中追加上新增節點的hostname,（6）在其他節點上執行刷新操作：hdfsdfsadmin-refreshNodes（7）在NameNode節點上，更改slaves文件，將要上線的數據節點hostname追加到slaves文件中（8）啟動DataNode節點（9）查看NameNode的監控頁面看是否有新增加的節點2）節點下線操作：（1）修改/conf/hdfs-site.xml文件（2）確定需要下線的機器，dfs.osts.exclude文件中配置好需要下架的機器，這個是阻止下架的機器去連接NameNode。（3）配置完成之后進行配置的刷新操作./bin/hadoopdfsadmin-refreshNodes,這個操作的作用是在后臺進行block塊的移動。（4）當執行三的命令完成之后，需要下架的機器就可以關閉了，可以查看現在集群上連接的節點，正在執行Decommission，會顯示：DecommissionStatus:Decommissioninprogress執行完畢后，會顯示：DecommissionStatus:Decommissioned（5）機器下線完畢，將他們從excludes文件中移除。66、答：ZKFailoverController主要職責1）健康監測：周期性的向它監控的NN發送健康探測命令，從而來確定某個NameNode是否處于健康狀態，如果機器宕機，心跳失敗，那么zkfc就會標記它處于一個不健康的狀態。2）會話管理：如果NN是健康的，zkfc就會在zookeeper中保持一個打開的會話，如果Name