版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領
文檔簡介
通信協議2學習任務初步了解HDFS通信協議概念熟悉HDFS通信協議分類3知識目標HDFS通信協議是什么HDFS中有哪些種類的通信協議01能力目標能夠對通信協議的概念有基本的理解理解每種通信協議分別在HDFS中功能02學習目標4目錄01HDFS通信協議概念02HDFS通信協議分類5HDFS通信協議概念HDFS是一個部署在集群上的分布式文件系統，節點間的通信、客戶端與節點間的通信，都有相應的協議。客戶端通過一個可配置的端口向名稱節點主動發起TCP連接，并使用客戶端協議；與名稱節點進行交互；客戶端與數據節點通過RPC實現交互；名稱節點與數據節點之間則使用數據節點協議進行交互；另外，名稱節點不會主動發起RPC，而是響應來自客戶端和數據節點的RPC請求。概述6HDFS通信協議分類ClientProtocol接口。對數據文件做的操作基本上都是靠這個接口來實現的。這里主要的一些方法有getBlockLocations()、create()、append()等等。ClientDatanodeProtocol接口。這個接口是Client端和Datanode端通信使用的，主要有getReplicationVisibleLength()、getBlockLocalPathInfo()、deleteBlockPool()這些方法，這些方法基本上都是與數據塊的管理相關，很顯然，Datanode主要的用途就是存儲數據。datanode和namenode通信的接口：DatanodeProtocol。這個接口解決了很多的問題，datanode的注冊、心跳應答數據塊匯報都是靠這個接口完成的。HadoopRPC接口7HDFS通信協議分類InterDatanodeProtocol接口。該接口是datanode之間相互通信的接口，雖然這個接口簡單，但是其實很有用，我們所說的副本是通過datanode之間的通信來實現復制的，而不是通過namenode同時將文件數據寫到三個副本中。NamenodeProtocol接口。這個接口是namenode和secondarynamenode通信的接口。HadoopRPC接口8HDFS通信協議分類流式接口有兩種，一種是基于TCP的DataTransferProtocol，一種是HA機制的activenamenode和standbynamenode間的HTTP接口。由于第二種會涉及到一些HA機制節點的切換等等因素，這里僅介紹第一種。流式接口9HDFS通信協議分類DataTransferProtocol接口。該接口最主要的方法就是readBlock()、writeBlock()和transferBlock()了。讀數據塊、寫數據塊以及數據塊額復制就是靠這些方法來實現。流式接口10小
溫馨提示
- 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
評論
0/150
提交評論