1、科學工作流kepler及其應用 周園春、林小光、程潔周園春、林小光、程潔黃剛、王鵬飛、屈俠黃剛、王鵬飛、屈俠 2008-10-28背景工作流概述科學工作流系統簡介kepler系統及其應用基于web的科學工作流目錄背景背景海量科學數據l數字化技術和無處不在的網絡發展推動了數據的收集、產生、共享、與分析。l科學數據規模越來越龐大，科學實驗過程也越來越復雜。l科學與工程研究日益成為數據密集型的工作。 背景背景超級計算環境l與觀察實驗、理論分析鼎足而立的科學計算已成為e-science的核心。l現今很多交叉和前沿學科的研究越來越需要高性能計算，如大氣科學計算、生命科學計算、湍流計算、分子模擬等。l由于

2、這些研究所需的數據資源和計算資源非常龐大，目前各研究機構很難為這些科研需求提供足夠的資源，導致了很多研究無法往前推進。 背景背景科學密集型實驗迭代的科學數據處理流程源數據獲取web服務、srb、ftp、http數據輸入數據預處理數據運算數據分析數據挖掘結果輸出結果數據集可視化圖片等背景背景動態的科學邏輯處理過程l雖然數據密集型科學問題的求解過程也遵循一定的基本流程，但是整個過程中的諸多細節卻是動態的、不確定的，科學實驗流程的定義往往是不完整的，在執行過程中也需要根據實驗流程的運行態勢做出動態修改。工作流概述工作流概述商業工作流l工作流的概念起源于辦公自動化領域。它所關注的問題是處理過程的自動化

3、，它根據一系列定義的規則，把文檔、信息或任務在參與者之間傳遞，以達到某種目的。 l工作流管理聯盟（wfmc）對工作流的定義：一類能夠完全或者部分自動執行的經營過程，根據一系列過程規則、文檔、信息或任務能夠在不同的執行者之間傳遞、執行。工作流概述工作流概述商業工作流l經營過程的一個計算機實現。l工作流管理軟件（wfms）是一個軟件系統。用以完成工作流的定義和管理，并按照在計算機中預先定義好的工作流邏輯推進工作流實例的執行。運行在一個或多個工作流引擎上。與工作流執行者交互，推進工作流實例的執行，并監控工作流的運行狀態。工作流概述工作流概述科學工作流l2o世紀9o年代，隨著問題求解環境(pse)在科

4、學研究活動中的應用，科學工作流和科學工作流管理被引入到科學問題求解環境中。l科學工作流就是采用工作流的思想，用來描述和控制科學實驗和過程的執行，它是面向e-science，服務于科學家，使得科學家能夠更容易的分析和管理科學數據。工作流概述工作流概述科學工作流l科學工作流是獲取科學數據獲取科學數據（包括傳感器數據、醫學影像、衛星圖像、仿真輸出、各類觀測數據等等），并對所獲取到的數據執行復雜分析執行復雜分析的靈活的工具。 l目的在于組合組合一個廣闊領域的應用程序，從實驗的設計、執行、監控到歸檔，以及使得實驗數據重用等的管理和分析流水線化。 工作流概述工作流概述科學工作流lstreaming/pip

5、elined executionlhighly data-centriclcompute-intensivelanalysis-intensive lvisualization-intensivelinterconnection between multiple tools工作流概述工作流概述商業工作流 vs. 科學工作流l科學工作流面向數據量，以數據驅動l商業工作流面向控制流，事務驅動actor namedata (state)portsinput dataparameters output datawhat flows through an object is streams of dat

6、acallreturnclass namedatamethodswhat flows through an object is sequential control科學工作流系統介紹科學工作流系統介紹國際上比較成熟的科學工作流系統：l學術領域的：keplertavernatrianal商業性質的：discoverynetpipeline-pilotlabview科學工作流系統介紹科學工作流系統介紹keplerlopen-source，javal圣地亞哥超算中心l地學、生物信息學、化學等科學工作流系統介紹科學工作流系統介紹tavernalopen-source，javalomii-uk l生物信

7、息學科學工作流系統介紹科學工作流系統介紹trianalopen-source，javalcardiff university, ukl信號、文本、圖片處理科學工作流系統介紹科學工作流系統介紹商業性質科學工作流科學工作流系統介紹科學工作流系統介紹國內相關研究現狀l目前，國內在科學工作流領域的研究尚處于起步階段。l許多具體領域的研究機構已經開始著手使用國際上成熟的科學工作流系統（如kepler等）進行涉及科學數據處理的大規模復雜科學實驗。l一些大學及研究所也開始對科學工作流系統進行了針對性研究，比如武漢大學軟件工程國家重點實驗室、南京大學計算機軟件新技術國家重點實驗室等。kepler系統系統kep

8、ler允許科學家設計科學工作流，并使用基于網格的分布式計算方法執行這些工作流。kepler是用于科學數據分析與建模的軟件應用程序。kepler使用一個可視化展現（科學工作流模型，用以展示離散分析和建模組件之間的數據流），使得創建可執行模型的過程簡單化。 kepler系統系統kepler用戶即使沒有計算機科學背景，也可以使用標準組件來生成工作流，或者修改現有的工作流模型以滿足需要。kepler集成了一些通用數據分析及可視化軟件，如matlab、r等，為領域科學家提供了方便。高級用戶也能從kepler提供的大量優良特性獲益，特別是當使用一個方便理解地以及容易分享的方式呈現一個復雜程序和分析。 ke

9、pler系統系統kepler構建于另一個開源可視化建模系統ptolemyii之上，為科學家提供了一個方便易用的工作平臺。kepler是一個用戶友好的程序，允許科學家通過簡單地拖拉、連接一些特定的組件，建立滿足條件的科學工作流，而不用手工整合大量的軟件程序，也不用借助于計算機程序員的協助。 kepler系統系統ptolemy系統由uc berkeley大學開發，用于研究并發、實時以及嵌入式系統的建模、仿真和設計。kepler系統很好地繼承和發展了ptolemy面向角色建模的特性，并加入了大量新特性，用于支持科學工作流。主要體現在對科學數據的獲取、處理。kepler系統系統術語術語l角色（acto

10、r）：執行一系列復雜操作的組件，是swf中處理科學數據的實體。l參數（parameter）：角色可配置的值。l端口（port）：角色間供相互連接的通道，有輸入端口和輸出端口。l連接（relation）：用于連接角色的端口，是數據傳遞的通道。kepler系統directoractoractoractorportportthe director controls the sequence of actorexecution. each actor takes data on itsinput ports, processes that data, and sendresults its outpu

11、t ports.component tabworkflow display panelsearchable component listan actor fires, placing the resulting data in acontainer called a token. the data token thenflows from the output port to the input port of connected actors.data tokendata tokenbegin workflowexecution buttonactors transform input to

12、kens into output datatokens which then get passed to the next actorunder control of the director.kepler系統系統在用kepler/ptolemyii構建的科學工作流中，獨立處理具體任務的組件實體被稱為“actor”?！癮ctor”之間通信的接口是“port”，有input port和output port兩種。actor使用“parameter”來配置和定制相關的行為。actor之間通過“channel”相互連接。kepler系統系統類型定義良好的面向角色工作流模型define a workf

13、low: w = la: a set of actorsld: a set of connectionsl: i/o-signature of wlm: a director (model of computation)l: a set of constraintskepler系統系統“director”指定了模型執行的語義，定義了actor如何執行，以及相互之間如何通信。用戶定制好的工作流模型，包括一個特定領域的“director”，以及至少一個“actor”。工作流執行的時候，“director”控制數據在“actor”中的流動，按照定制好的流程，調度部署每個“actor”的迭代執行。ke

14、pler系統系統在kepler/ptolemyii系統中，定制好的科學工作流模型以xml文件形式存儲，該xml文件滿足moml（modeling markup language）xml模式要求。moml使用dtd（文檔類型定義）定義。 kepler系統系統contributors for kepler基于基于web的科學工作流系統的科學工作流系統該系統擬提供給用戶（具體領域研究人員）一個基于web的簡單易用的工具，用于對數據密集型科學實驗的全過程。該方案使用web服務、srb、ftp等多種方式獲取研究所需要的科學數據，并通過實現在web瀏覽器上的vml/svg可視化操作界面，定制滿足需求的工作

15、流實例，提交給后臺kepler/ptolemyii工作流引擎服務器，經過對所獲取的數據調用科學數據專有的處理軟件（包括ncl、matlab、cdo等）進行分析計算，最終得到所需要的可視化結果或是將結果數據反饋給用戶。 基于工作流的科學數據分析平臺分布式數據分布式數據算法模型算法模型個性化的個性化的web空間空間1)數據分析流程可視化定制2)數據和算法的管理 模型選擇數據資源定位工作流的計算數據和模型的結合計算結果返回應用結果流程定制模型和數據管理根據結果評價根據結果評價不斷迭代不斷迭代科研人員科研人員模型管理數據管理基于基于web的科學工作流系統的科學工作流系統體系架構圖數據資源層l完成對物理

16、資源及分布式資源（大規?？茖W數據，如ipcc、ncar等）的存取。l算法模型庫簡單算法：加、減、乘、除等復雜操作：統計、聚類分析等 l高性能計算環境基于基于web的科學工作流系統的科學工作流系統工作流引擎及中間件層l提供一個穩定的工作流引擎 ，并支持資源、引擎、web等之間的通信。l使用kepler：管理actor的分類信息；處理工作流實例的運行；動態添加算法模型（actor）。 基于基于web的科學工作流系統的科學工作流系統web接口層l提供給用戶一個設計良好、方便易用的接口，以組裝、查看、執行、管理工作流實例。l提供給用于一個一站式服務的web環境，從數據資源獲取、結果數據反饋、用戶信息管理、及其它服務。l使用ajax等web技術開發?；诨趙eb的科學工作流系統的科學工作流系統數據數據data manag