第第1頁，共16頁第2頁，共16頁嶺南師范學院2015年－2016學年度第二學期期末考試試題A卷（考試時間:120分鐘）考試科目：大數據核心技術題號一一二三四五總分總評分人復查人分值3016202410得分得分評卷人一、單項選擇題（每小題2分，共30分）請把答案寫在下表中，寫在試題后無效。題號12345678答案題號9101112131415答案

TOC\o"1-5"\h\z下面哪個進程負責MapReduce任務調度。（B）A.NameNodeB.JobtrackerC.TaskTrackerD.secondaryNameNodeHadoopl.O默認的調度器策略是哪個。（A）A.先進先出調度器B.計算能力調度器C.公平調度器D.優先級調度器Client端上傳文件的時候下列哪項正確？（B）數據經過NameNode傳遞給DataNodeClient端將文件切分為Block，依次上傳Client只上傳數據到一臺DataNode,然后由NameNode負責Block復制工作以上都不正確在實驗集群的master節點使用jps命令查看進程時，終端出現以下哪項能說明Hadoop主節點啟動成功？（D）TOC\o"1-5"\h\z下面哪個程序負責HDFS數據存儲。（C）NameNodeB.JobtrackerC.DatanodeD.secondaryNameNodeHDFS中的block默認保存幾個備份。（A）A.3份B.2份C.1份D.不確定HDFS1.0默認BlockSize大小是多少。（B）A.32MBB.64MB

A.Namenode,Datanode,TaskTrackerB.Namenode,Datanode,secondaryNameNodeC.Namenode,Datanode,HMasterD.Namenode,JobTracker,secondaryNameNode8.若不針對MapReduce編程模型中的key和value值進行特別設置，下列哪一項是MapReduce不適宜的運算。（D）A.MaxB.MinC.CountD.AverageC.128MBD.256MB任課教師簽名：命題教師簽名：系主任簽名:主管院長簽名:OO第第#頁，共16頁第14頁，共16頁被系統自動轉換為MapReduce任務鏈，在Hadoop上加以執行。Yahoo!有大量的MapReduce作業是通過Pig實現的。鍵值對數據庫系統CassandraCassandra是一套分布式的K-V型的數據庫系統，最初由Facebook開發，用于存儲郵箱等比較簡單的格式化數據，后Facebook將Cassandra貢獻出來成為Hadoop開源項目。Cassandra以Amazon專有的完全分布式Dynamo為基礎，結合了GoogleBigTable基于列族（ColumnFamily）的數據模型，提供了一套高度可擴展、最終一致、分布式的結構化鍵值存儲系統。它結合了Dynamo的分布技術和Google的Bigtable數據模型，更好地滿足了海量數據存儲的需求。同時,Cassandra變更垂直擴展為水平擴展，相比其他典型的鍵值數據存儲模型，Cassandra提供了更為豐富的功能。日志數據處理系統ChukwaChukwa是一個由Yahoo!貢獻的開源的數據收集系統，主要用于日志的收集和數據的監控，并與MapReduce協同處理數據。Chukwa是一個基于Hadoop的大規模集群監控系統，繼承了Hadoop系統的可靠性，具有良好的適應性和擴展性。它使用HDFS來存儲數據，使用MapReduce來處理數據，同時還提供靈活強大的輔助工具用以分析、顯示、監視數據結果。科學計算基礎工具庫HamaHama是一個基于BSP并行計算模型（BulkSynchronousParallel，大同步并行模型）的計算框架，主要提供一套支撐框架和工具，支持大規模科學計算或者具有復雜數據關聯性的圖計算。Hama類似Google公司開發的Pregel，Google利用Pregel來實現圖遍歷（BFS）、最短路徑（SSSP）、PageRank等計算。Hama可以與Hadoop的HDSF進行完美的整合，利用HDFS對需要運行的任務和數據進行持久化存儲。由于BSP在并行化計算模型上的靈活性，Hama框架可在大規模科學計算和圖計算方面得到較多應用，完成矩陣計算、排序計算、PageRank、BFS等不同的大數據計算和處理任務。數據分析挖掘工具庫MahoutMahout來源于ApacheLucene子項目，其主要目標是創建并提供經典的機器學習和數據挖掘并行化算法類庫，以便減輕需要使用這些算法進行數據分析挖掘的程序員的編程負擔，不需要自己再去實現這些算法。Mahout現在已經包含了聚類、分類、推薦引擎、頻繁項集挖掘等廣泛使用的機器學習和數據挖掘算法。此外，它還提供了包含數據輸入輸出工具，以及與其他數據存儲管理系統進行數據集成的工具和構架。關系數據交換工具SqoopSqoop是SQL-to-Hadoop的縮寫，是一個在關系數據庫與Hadoop平臺間進行快速批量數據交換的工具。它可以將一個關系數據庫中的數據批量導入Hadoop的HDFS、HBase、Hive中，也可以反過來將Hadoop平臺中的數據導入關系數據庫中。Sqoop充分利用了HadoopMapReduce的并行化優點，整個數據交換過程基于MapReduce實現并行化的快速處理。日志數據收集工具FlumeFlume是由Cloudera開發維護的一個分布式、高可靠、高可用、適合復雜環境下大規模日志數據采集的