

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
登錄https://localhost:8443注意是https,采用的是jettyssl鏈接。輸入賬號密碼azkaban/azkanban(如果你之前沒有更改的話)鳥Azkaban鳥AzkabanBesttonePrq|?ctiSchedulingExecutingHistory首頁首頁有四個菜單projects:最重要的部分,創建一個工程,所有flows將在工程中運行。scheduling:顯示定時任務executing:顯示當前運行的任務history:顯示歷史運行任務主要介紹projects部分首先創建一個工程,填寫名稱和描述,比如o2olog。Flews^EMTnlwioreFlews^EMTnlwiore氏畑!Log?NoFlows忖口have昭"upi&adedtothl*旳斛yrt.o2ologo2olDgGu獻訶irt?016-01-2009;幅空2La&tmodifiexiby2016-01-20M:4I6;22ModmiedbyProjectadmins亞HaDanYourPermia-sionKADMINo2olog工程Flows:工作流程,有多個job組成Permissions:權限管理ProjectLogs:工程日志創建工程:創建之前我們先了解下之間的關系,一個工程包含一個或多個flows,—個flow包含多個job。job是你想在azkaban中運行的一個進程,可以是簡單的linux命令,可是java程序,也可以是復雜的shell腳本,當然,如果你安裝相關插件,也可以運行插件。一個job可以依賴于另一個job,這種多個job和它們的依賴組成的圖表叫做flow。job創建創建job很簡單,只要創建一個以.job結尾的文本文件就行了,例如我們創建一個工作,用來將日志數據導入hive中(關于大數據方面的東西,不在重復,可以理解為,將日志所需數據導入的mysql中),我們創建o2o_2_hive.jobtype=commandcommand=echo"data2hive"一個簡單的job就創建好了,解釋下,type的command,告訴azkaban用unix原生命令去運行,比如原生命令或者shell腳本,當然也有其他類型,后面說。一個工程不可能只有一個job,我們現在創建多個依賴job,這也是采用azkaban的首要目的。flows創建我們說過多個jobs和它們的依賴組成flow。怎么創建依賴,只要指定dependencies參數就行了。比如導入hive前,需要進行數據清洗,數據清洗前需要上傳,上傳之前需要從ftp獲取日志。定義5個job:o2o_2_hive.job:將清洗完的數據入hive庫o2o_clean_data.job:調用mr清洗hdfs數據o2o_up_2_hdfs.job:將文件上傳至hdfso2o_get_file_ftp1.job:從ftp1獲取日志o2o_get_file_fip2.job:從ftp2獲取日志依賴關系:3依賴4和5,2依賴3,1依賴2,4和5沒有依賴關系。o2o_2_hive.jobtype=command執行sh腳本,建議這樣做,后期只需維護腳本就行了,azkaban定義工作流程command=sh/job/o2o_2_hive.shdependencies=o2o_clean_datao2o_clean_data.jobtype=command執行sh腳本,建議這樣做,后期只需維護腳本就行了,azkaban定義工作流程command=sh/job/o2o_clean_data.shdependencies=o2o_up_2_hdfso2o_up_2_hdfs.job□2d_2_hivB□2d_2_hivBtype=command#需要配置好hadoop命令,建議編寫到shell中,可以后期維護command=hadoopfs-put/data/*#多個依賴用逗號隔開dependencies=o2o_get_file_ftp1,o2o_get_file_ftp2o2o_get_file_ftp1.jobtype=commandcommand=wget"HYPERLINKftp://file1"-O/data/file1o2o_get_file_ftp2.jobtype=commandcommand=wget"ftp:file2"-O/data/file2可以運行unix命令,也可以運行python腳本(強烈推薦)。將上述job打成zip包。ps:為了測試流程,我將上述command都改為echo+相應命令上傳:UploadProjectFilesJobArchive衛怦文件未選擇任何文件CancelUploadCancelUpload上傳Projecto2ologFlowsParrnissionsProjectLegsAo2o_2_hiveAo2o_2_hiveo2o_get_fife_ftpi02&_get_fite_ftp2O2o_up_2hdfsc(2a_clean_aata上傳完成點擊o2o_2_hive進入流程,azkaban流程名稱以最后一個沒有依賴的job定義的。流程右上方是配置執行當前流程或者執行定時流程。流程執行Flowview:流程視圖。可以禁用,啟用某些jobNotification:定義任務成功或者失敗是否發送郵件FailureOptions:定義一個job失敗,剩下的job怎么執行Concurrent:并行任務執行設置FlowParametters:參數設置。1.執行一次設置好上述參數,點擊execute。
執行成功綠色代表成功,藍色是運行,紅色是失敗。可以查看job運行時間,依賴和日志,點擊details可以查看各個job運行情況。NameIVpeTimelineStartTimeEndTimeEl呂psedStatusDetailsQ2o_g*t_rn&_ftpicommand201&=01-2010:4452S2018-01-2D10:4452SoseeD由曲身o2c_get_Tii&_ftp2ccmmand201&-D1-2010:44-52S2016-01-2010:4453sosecD&tSlSa2c_up_2_hdf3command■2016-C1-2010:4452s2016-01-2010:4452s0aecDetails□2o_clean_aatacommand■2016-01-2010:4452s2016-01-2010:4452s0secDetailso2oi_.2JhiveccfTimand■201&D1-2010:4452S2016-01-2010:4452S0sec[MaltejobList2.定時執行
定時執行這時候注意到cst了吧,之前需要將配置中時區改為Asia/shanghai。可以選擇"天/時/分/月/周"等執行頻率。IDFlowPrefectSubmittedByFir^tSoileduledtoRunNextExecutionTimeHepeatfiEveryHasSLAAction5o2o_2hiveo2ologazkaban2016-01-2010:47:002016-01-2011:47:DO1houifa)falseI1setSuAI定時任務可以查看下次執行時間。其他job配置選項可以定義job依賴另一個flow,配置type==fisrt_flow可以設置每個job中子命令type=commandcommand=echo"hello"command.1=echo"world"可以配置job失敗重啟次數,及間隔時間,比如,上述ftp獲取日志,我可
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 農產品電商與傳統農業的關聯試題及答案
- 商務寫作能力提升的重要環節試題及答案
- 2025年大學化學試題解答技巧試題及答案
- 全面的2025年英語試題及答案
- 2025新能源汽車技術合作與競爭的平衡試題及答案
- 農業電商產業鏈效率提升試題及答案
- 2025年商務英語考試理論與實踐試題及答案
- 2025年商務英語準備計劃制定試題及答案
- 中國輕軌交通行業市場發展分析及發展趨勢與投資機會研究報告2025-2028版
- 中國苧麻錦色織布行業市場發展前景及發展趨勢與投資戰略研究報告2025-2028版
- (四調)武漢市2025屆高中畢業生四月調研考試 數學試卷(含答案詳解)
- 超越廣告-南京林業大學中國大學mooc課后章節答案期末考試題庫2023年
- 國家開放大學《計算機組成原理》章節測試參考答案
- “畫法幾何及工程制圖”復習題
- 北京師范大學地理科學專業本科培養方案
- 正比例函數評課稿
- 上海眾辰SP500系列空壓機一體機使用手冊V104.04
- 危廢處置方案完全示范版
- 大班生活習慣好教案教學5篇
- 機械基礎中職帶傳動教案
- 礦粉實驗原始記錄2頁
評論
0/150
提交評論