1、大數據學習問題及答案匯總1. HDFS管道流方式導入，如何轉變成文件存儲 答：寫入文件的過程比讀取較為復雜：使用HDFS提供的客戶端開發庫 Client,向遠程的Namenode 發起RPC請求；Namenode會檢查要創建的文件是否已經存在，創建者是否 有權限進行操作，成功則會為文件創建一個記錄，否則會讓客戶端拋出異常；當客戶端開始寫入文件的時候，開發庫會將文件切分成多個packets,并在內 部以數據隊 歹！J "data queue"的形式 管理這些 packets,并向 Namenode申請新的 blocks,獲取用來存儲 replicas 的合適的datanode

2、s列表，列表的大小根據在Namenode中對replication的設置而定。開始以pipeline （管道）的形式將packet寫入所有的replicas 中。開發庫把packet以流的方式寫入第一個 datanode,該datanode 把該packet存儲之后，再將其傳遞給在此 pipeline中的下一個 datanode,直到最后一個 datanode,這種寫數據的方式呈流水線 的形式。最后一個datanode成功存儲之后會返回一個 ack packet,在 pipeline里傳遞至客戶端，在客戶端的開發庫內部維護著"ack queue",成功收到 datanode

3、返回的 ack packet 后會從"ack queue移除相應的packeto如果傳輸過程中，有某個datanode出現了故障，那么當前的 pipeline會被關閉，出現故障的 datanode會從當前的pipeline中 移除，剩余的block會繼續剩下的datanode中繼續以pipeline的 形式傳輸，同時Namenode會分配一個新的 datanode,保持replicas 設定的數量。2. HDFS有哪些開源的第三方導入工具答： Cloudera官方提供 HTTP方式連接 HDFS工具：Hoophoo漪介.doc3. HBase有哪些第三方Client工具答：沒有搜到，

4、網上有一些愛好者自己寫了些小工具，有 PHP的有C#的，也有java的，但是都沒經過正式測試4. Hive集群部署方式答：只需要部署一臺機器，不必須裝到master節點，只要那臺機 器上裝了 hadoop,能夠正確指向 master地址5. Reduce方法不排序結果的驗證答：待驗證6. Impala各版本支持情況答：最新版本1.0,全面支持HDFS7. LLVM是什么答：LLVM 命名最早源自于底層虛擬機( Low Level Virtual Machine)的縮寫LLVM 是Illinois大學發起的一個開源項目，和之前為大家所熟 知的JVM以及.net Runtime這樣的虛擬機不同，這

5、個虛擬系統 提供了一套中立的中間代碼和編譯基礎設施，并圍繞這些設施提供了一套全新的編譯策略(使得優化能夠在編譯、連接、運行環 境執行過程中，以及安裝之后以有效的方式進行)和其他一些非 常有意思的功能。2000年LLVM開始開發。2005年 Apple 雇了 Chris Lattner, LLVM 也相當于成了 Apple 的 官方支持的編譯器。Apple已經將它用在OpenCL的流水線優化，Xcode已經能使用 llvm-gcc編譯代碼。2011-12-02 LLVM3.0發布，LLVM 包括了一系列子項目， 它們也 同步發布了新版本，如 C/C+/Objective-C前端Clang 3.0改進了 C+程序編譯支持；改進 C+ 2011標準支持；實現支持即將發 布的C1x標準的某些特性；更快的生成代碼，更快的編譯，等等。8. Data locality的I/O調度機制的說明答：遵循先均勻分配再均衡負載的算法，分配任務各自盡量在單個計算節點上完成9. Impala自身處理以及其任務互相分配互相監控的實現原理答Ft燈處守、：3 O)2 mu ID書G iatluQ B ' C | Ri -”收巴 8W AS”M4 TIA mm Q XMMA«