1、數據集成快速開始云數據庫 OceanBase/快速入門 PAGE 9快速開始一、簡介Pipeline是數據集成權限管理、資源隔離的基本單元，為權限管理、安全控制提供管理和控制，同時也是數據 同步作業運行的容器。用戶進入數據集成后，須首先創建一個Pipeline。Pipeline分為普通Pipeline和ECS Pipeline。其中，普通Pipeline是在阿里云提供的服務器上創建，所有的同步作業也是運行在阿里云提供的服務器上，Pipeline數量、帶寬是有限的，目前用戶只能創建一個普通Pipeline；ECS Pipeline上的同步作業是運行在用戶自己的ECS機器上，數據集成平臺對ECS

2、Pipeline數量、帶寬不作限制。二、創建步驟登錄數據集成控制臺進入控制臺后會自動進入Pipeline 管理界面，點擊該頁面右上角創建Pipeline按鈕，如下圖所示：點擊后進入創建Pipeline頁面：按照提示規則在頁面中輸入Pipeline名稱和描述；點擊確定后，Pipeline就開始創建，創建成功后有如下圖提示，并在Pipeline 管理界面可看到Pipeline的創建信息。一、簡介ECS Pipeline是數據集成平臺對外提供的穩定效、彈性伸縮的離線(批量)數據進出通道。有別于普通Pipeline，ECS Pipeline上的同步作業是運行在用戶自己的ECS機器上，數據集成平臺對EC

3、S Pipeline數量、帶寬不作限制。二、環境要求1、已有杭州區域的 ECS 機器(點我購買),且 ECS 的系統是Centos 5 64位2、ECS 需開通 8000 端口 (如何開通);三、創建步驟登錄數據集成控制臺進入控制臺后會自動進入Pipeline 管理界面，點擊該頁面右上角創建 ECS Pipeline按鈕，如下圖所示：阿里綠網/使用手冊第一步：創建ECS Pipeline，獲取唯一標識(username)和密碼(password) (1)輸入Pipeline名稱和Pipeline描述，入下圖所示，點擊下一步(2)綁定服務器，勾選要綁定的ECS機器，如下圖所示，點擊確定。若在其它

4、服務中部署過同步服務，可點擊直接使用。 即可獲得唯一標識(username)和密碼(password)對于已經創建好的ECS Pipeline，點擊 Pipeline 管理頁面修改機器綁定，查看唯一標識(username)和密碼(password)，如下圖所示：第二步：在選中的ECS機器上部署同步服務，部署步驟參考第四節，部署完成，點擊 Pipeline 管理頁面修改機器綁定可查看機器同步服務狀態，若啟動正常，則顯示正常如下圖所示：即可進入ECS Pipeline 創建作業。否則顯示已停止。四、部署同步服務$ rm -f install.sh;wget /install.sh; -f inst

5、all.sh & sh install.sh -username=*-password=*分別以root身份登錄您已經綁定的ECS機器，下載同步服務安裝包并部署，以root身份執行命令:成功后打印日志如下圖所示：五、其它數據集成連接RDS同步數據需要使數據庫標準協議連接數據庫。RDS默認允許所有IP連接，但如果用戶在RDS配置指定了IP白名單，用戶需要添加CDP執行節點IP白名單。用戶沒有指定RDS白名單情況下，不需要給CDP提供白名單。如何添加RDS IP白名單一、在作業管理界面，點擊新建作業云數據庫 Memcache 版/購買指導二、填寫作業配置此處可以根據自己的習慣來選擇界面視圖或jso

6、n視圖來配置作業： 界面視圖json視圖資源編排/API 文檔配置好后，點擊立即運行，將會根據你的配置運行一次同步作業。三、查看作業狀態在作業管理界面，將會看到你新建作業的最近一次運行記錄，你可以關注下作業是否運行成功，速度多少。點擊運行日志能看到本次運行的詳細日志點擊終止能終止本次運行點擊修改能修改作業配置點擊下線能將該作業下線，不再運行點擊運行記錄能看到該作業左右的歷史運行記錄一、想每天定時運行，如何配置在作業管理界面，將光標移動到想定時運行的作業，在運行周期列點擊時鐘圖標：進入修改作業運行周期界面，配置cron表達式，目前最細粒度支持小時級別，如下圖表示每小時的半點運行一 次：密鑰管理服

7、務/快速入門00 00 00 * * ?cron表達式一般格式如下：第一段：秒第二段：分第三段：小時第四段：天第五段：月第六段：周其中天和周不能同時設置：例如天設為*，表示每天；則周必須設為?，表示忽略舉例- 00 00 00 ?：每天的零點執行- 00 00 1-4 ?：每天的1,2,3,4點執行- 00 12 10 * 1 ?：1月份每天的10點12分執行二、想每次運行時，抽取不同時間的數據，如何配置支持時間參數替換，在關系數據庫的where或者odps的partition處可寫類似如下的時間參數表達式yyyyMMdd HH:mm:ss：時間參數表達式一般形式如：yyyyMMdd HH:mm:ss +/- Ny：表示以運行日期為基準進行計算yyyyMMdd HH:mm:ss ：表示日期的格式，還可以為yyyy, yyyyMM, MM, dd, HH:mm:ss等- +/-：表示進行加或減計算Ny：N表示需要加減的數值；y表示單位：年，包括如下的單位y：年m：月d：天h：小時mi：分假設任務運行時刻為2014-06-03 13:20:00，則：- yyyy-MM-dd HH:mm:ss + 2y：2016-06