




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
主講:侯磊創建動態工作流目錄0102動態工作流初步認識Oozie協調器動態工作流1動態工作流動態工作流通過參數化來節省時間和精力,避免不必要的重復。在這種情況下,參數化是指使用參數而不是硬編碼的值,因此可以在多個地方使用相同的作業。例如,你希望使用Sqoop導入作業將數據從Teradata或Oracle數據庫移動到集群中。你想要執行相同的作業,但在一天或一周內進行輕微的修改。在這種情況下,使用動態工作流可以提高工作效率,并減少對工作流和協調器配置文件的煩瑣修改。動態工作流Oozie通過使用變量、函數甚至表達式來參數化工作流、協調器和捆綁作業。例如,在Oozie工作流中使用廣泛的參數可以使工作流動態化,而不是每次要運行它時重新配Oozie可以使用JSPEL語法,在EL語法中指定的變量、常量、函數和表達式分別被稱為EL變量、EL常量、EL函數和EL表達式。通常,使用EL變量參數化Oozie工作流和協調器。以下是EL變量的一個示例。<name-node>${nameNode}</name-node>動態工作流當提交執行工作流時,Oozie使用在perties文件中為變量指定的值替換變量。Oozie還提供了一組EL常量,例如KB、MB、GB、TB和PB,表示千字節、兆字節等。在Oozie協調器中,Oozie還支持系統變量,如${YEAR}、${MONTH}、${DAY}和${HOUR}。在工作流中,可以使用系統變量來表示Hadoop作業計數器,例如FILE_BYTES_READ、MAP_IN和MAP_OUT。動態工作流工作流可以使用這些作業計數器,如下所示:${hadoop:counters("testMRNode")["FileSystemCounters"]["FILE_BYTES_READ"]}可以在日志文件中打印Hadoop計數器的信息,或者在完成mapper/reducer處理之后,根據mapper和reducer計數器的值進行特定操作。動態工作流Oozie提供了幾個EL功能,用來執行有用的任務。例如:■使用內置函數wf:id()獲取正在執行的工作流的ID?!鍪褂胻imestamp函數以YYYY-MM-DDThh:mm:ss:sZ格式提供當前UTC時間?!鰂s:fileSize(Stringpath)函數是一個HDFSEL函數,返回指定文件的大小(以字節為單位)。初步認識Oozie協調器2初步認識Oozie協調器雖然Oozie工作流包含所有的作業邏輯,但是還缺少一些東西,工作流不提供任何調度功能。Oozie工作流可以幫助我們以指定的順序運行Hadoop應用程序。因此,工作流對于手動運行應用程序很有用。然而,在實踐中,經常需要調度預先創建的Oozie工作流。可以通過Oozie協調器調度Oozie工
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年汽車租賃合同范本
- 2025年租車帶司機服務合同模板
- 2025標準個人租房租賃合同樣本
- 2025財產委托管理合同模板
- 2025包裝盒生產合同模板
- 2025年土地流轉合同樣本
- 2025訂購綠化苗木合同模板
- 2025物業管理服務合同范本
- 2025合同能源托管協議范本
- 2025咖啡店承包合同協議書
- 公務車輛定點加油服務投標方案(技術標)
- 強化學習與聯邦學習結合
- 泵檢驗標準及方法
- 水土保持學試卷 答案
- 變電站工程施工危險點辨識及預控措施(匯編)
- 關于新能源汽車的論文10000字
- 停車場建設工程監理規劃
- 口腔檢查-口腔一般檢查方法(口腔科課件)
- 中型水力發電廠電氣部分初步設計
- 魚臺工程運河杯匯報材料
- 簡單的勞務合同協議書
評論
0/150
提交評論