主講：侯磊基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器目錄0102基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器Oozie回顧基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器1基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器通常，我們希望根據(jù)某些數(shù)據(jù)文件或目錄是否可用，或在特定時(shí)間調(diào)度協(xié)調(diào)器作業(yè)。以下這個(gè)Oozie協(xié)調(diào)器，就基于時(shí)間和具體數(shù)據(jù)的可用性調(diào)度作業(yè)。<coordinator-appname="sampleCoordinator”frequency="${coord:days(1)}"start="${startTime}"end="${endTime}"timezone="${timeZoneDef}"xmlns="uri:oozie:coordinator:0.1">基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器<controls>…</controls><datasets><datasetname="input"frequency="${coord:days(1)}"initialinstance="${startTime}"timezone="${timeZoneDef}"><uri-template>${needDataDir}</uri-template></dataset></datasets><input-events>基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器<data-inname="sampleInput"dataset="input"><instance>${startTime}</instance></data-in></input-events><action><workflow><app-path>SworktlOWApPPath}</app-path></workflow></action></coordinator-app>基于時(shí)間和數(shù)據(jù)的協(xié)調(diào)器此協(xié)調(diào)器作業(yè)將在特定的開始時(shí)間和數(shù)據(jù)上運(yùn)行，并且每天執(zhí)行一次，但以needDataDir數(shù)據(jù)集可用為前提。它持續(xù)運(yùn)行，直到到達(dá)指定的結(jié)束時(shí)間。Oozie回顧2Oozie回顧Oozie是一個(gè)基于工作流引擎的服務(wù)器，可以在上面運(yùn)行Hadoop的MapReduce和Pig任務(wù)。它其實(shí)就是一個(gè)運(yùn)行在JavaServlet容器（比如Tomcat）中的JavasWeb應(yīng)用。對(duì)于Oozie來說，工作流就是一系列的操作（比如Hadoop的MR，以及Pig的任務(wù)），這些操作通過有向無環(huán)圖的機(jī)制控制。這種控制依賴是說，一個(gè)操作的輸入依賴于前一個(gè)任務(wù)的輸出，只有前一個(gè)操作完全完成后，才能開始第二個(gè)。Oozie工作流通過hPDL定義（hPDL是一種XML的流程定義語(yǔ)言）。工作流操作通過遠(yuǎn)程系統(tǒng)啟動(dòng)任務(wù)。當(dāng)任務(wù)完成后，遠(yuǎn)程系統(tǒng)會(huì)進(jìn)行回調(diào)來通知任務(wù)已經(jīng)結(jié)束，然后再開始下一個(gè)操作。Oozie回顧當(dāng)多個(gè)相互依賴的作業(yè)與數(shù)據(jù)流捆綁在一起的時(shí)候，Oozie工作流就會(huì)變成一個(gè)數(shù)據(jù)管道應(yīng)用程序。ApacheOozie工作流促進(jìn)了數(shù)據(jù)邏輯流程的設(shè)計(jì)、錯(cuò)誤處理、故障轉(zhuǎn)移機(jī)制等。您可以配置Oozie協(xié)調(diào)器或捆綁的應(yīng)用程序來有效地管理工作流，不過，關(guān)于這些主題的討論已超出了本文的討論范圍。一些等效的Hadoop工作流引擎包括AmazonDataPipeline、SimpleWorkflowEngine、Azkaban、Cascading和Hamake。雖然Hamake和Oozie是基于XML的配置，但Azkaban是使用包含鍵值對(duì)的文本文件進(jìn)行配置的，而Cascading是使用JavaAPI進(jìn)行配置的。Oozie回顧總結(jié)來說Oozie是管理Hadoop作業(yè)的工作流調(diào)度系統(tǒng)Oozie的工作流是一系列的操作圖Oozie協(xié)調(diào)作業(yè)是通過時(shí)間（頻率）以及有效數(shù)據(jù)觸發(fā)當(dāng)前的Oozie工作流程Oozie是針對(duì)