企業數據開放平臺建設思路 摘要：隨著企業信息系統的運營及發展，與外圍平臺間的數據共享越來越密切，越來越多的企業信息系統將會開放內部核心數據資源，提供給第三方系統接入，便于共同開發數據資源。那么設計一個開放數據提供平臺， 把自己的數據資源準確及時的推送給第三方系統尤為迫切。企業數據開放平臺的管理系統主要負責系統中各類數據的維護與管理，其中數據同步模塊是企業數據開放平臺的重要組成部分。 關鍵詞：企業數據 開放平臺 設計 中圖分類號：TP3 文獻標識碼：A 文章編號：1007-9416（2015）04-0195-02 企業數據開放平臺是以提供基礎數據服務為目的，為下游接入的子系統，提供標準化的接口，并實現與數據開放相關的運營管理；整個系統分為上游數據源管理、下游接入系統管理，鑒權服務，數據同步服務等組成部分。上游數據源管理主要對數據提供方配置數據過濾規則，經過加工轉換之后換成開放平臺的標準格式數據。下游接入系統管理主要為接入方配置所需的數據模型，配置數據同步規則。鑒權服務主要對下游系統頒發訪問令牌，只有通過合法授權才能正常訪問數據。數據同步服務是數據開放平臺最復雜及最核心的功能模塊，完好的同步機制能保證數據同步的完整性、及時性及正確性。 1 數據開放平臺組成 圖1顯示了企業數據開放平臺功能模塊及上下游系統的關系。 從圖1可以看到完整數據開放平臺的全貌，最頂層的是上游系統，上游系統是數據源，提供基礎數據，通過數據適配層的數據轉換，把數據存儲到數據中心。下游系統通過數據開放平臺提供的數據同步服務取得數據資源。由此可見數據適配器及數據同步模塊起承上啟下的作用，是數據開放平臺重點建設的功能模塊。 2 數據適配器的設計思路。 由于數據由多個上游系統產生。不同的上游系統提供的硬件設施、網絡環境、數據庫管理系統，業務支撐系統、業務規范等很有可能都不一樣，單一的依賴傳統系統軟件或工具已不能滿足數據同步的需求，迫切需要設計一種企業級的應用解決方案，能夠屏蔽復雜的數據結構和業務關系，使不同的網元間數據簡單順暢的流動到企業數據開放平臺。數據適配器主要功能就是對上游系統提供統一的數據訪問接口，對下直接與企業數據開放平臺的數據庫交互。 2.1 在系統支撐上數據適配器設計要求包括以下幾個原則 與平臺無關性：無論上游數據庫管理系統處于何種環境，都能通過調用平臺開放的接口，把數據存儲到數據中心。 可擴展性：設計的適配器能滿足后續業務的擴展。如：能在不改變現有接口的協議上支持數據中心表字段的增加。 可復用性：設計的適配器除了滿足現有的接入的上游系統之外，能滿足后續更多接入的上游系統。 2.2 在業務及管理上數據適配器設計要求包括以下幾個原則 支持數據規則的配置。系統能靈活支持不同的上游系統不同的數據過濾規則。數據適配器在接收到上游系統的數據時，從配置規則里匹對所需要的數據 ，只有復合規則的數據才進行入庫保存。 支持數據的轉換。上游系統通過適配器同步數據時，對于特殊字段的值能夠根據配置的轉換邏輯進行個性處理，以便兼容到上游系統的特殊業務。 支持數據的加工。上流系統同步數據時，對于不完整的數據，適配器能夠自動根據配置的數據加工邏輯，對數據進行自動填充處理，使數據達到完整性。 不能隨便變更數據中心的業務約束。業務數據的業務規則應以數據中心的為準。當上游系統與數據中心的業務約束有沖突時，數據中心應該把這部分數據進行屏蔽或過濾處理。 3 數據同步的設計思路 數據中心的下游系統，是數據消費者。下游系統通過數據開放平臺的同步機制來獲取數據，因此設計可靠穩定及時的數據同步機制是數據同步建設的目標。數據同步建設的思路包括以下幾點： （1）對于所有下游系統必須經過合法授權才能訪問數據。 （2）對于所有下游系統必須要限定訪問數據的范圍和訪問的頻率，防止不必要的數據傳輸及過于頻繁的請求訪問，造成數據中心服務器壓力問題。 （3）數據中心不允許下游系統反向更新數據，數據的錄入及更新都在數據中心的上游系統執行。 3.1 同步機制的選擇，以下兩種是業界常用的數據同步方案 3.1.1 主動同步的方案 具體來說由數據中心主動發起同步 流程如下 （1）數據中心向下游系統發通知，告知下游系統數據有更新； （2）下游系統收到通知后向數據更新請求數據； （3）數據中心收到請求數據后，向下游系統發送數據； （4）下游系統收到數據后進行入庫保存。 3.1.2 被動同步方案 具體來說由下游系統主動發起數據同步的請求 流程如下 （1）下游系統向數據中心發起數據更新請求； （2）數據中心收到請求后，向下游系統發送數據； （3）下游系統收到數據后進行入庫保存。 數據同步模塊應該建立監控機制。監控包括性能監控、業務監控、預警等，主要監控數據請求、數據處理、系統壓力三個方面。并提供預警機制，通過配置相關預警規則、實現業務異常的展現及處理等。 4 規范管理 4.1 制定標準接口協議規范 Web service是一個平臺獨立的，低耦合的，自包含的、基于可編程的web的應用程序，可使用開放的XML（標準通用標記語言下的一個子集）標準來描述、發布、發現、協調和配置這些應用程序，用于開發分布式的互操作的應用程序。對于數據適配器及數據同步接口非常適合采Web service的形式。 4.2 制定全流程管理規范 無論是上游系統、還是下游系統從零開始到成功接入到數據開放平臺必定會有涉及以下內容： （1）業務評估。對于上游系統，企業數據開放平臺必須充分評估上游系統的數據是否是數據中心需要的數據。對于下游系統，企業數據開放平臺應該協助下游系統，評估數據中心的提供數據能否滿足下游系統的業務要求。 （2）同步方案的選擇。原則上無論是上游還是下游系統，均以數據開放平臺的標準接口協議來實現數據的同步。不允許為了某個下游系統而改變現有的同步機制。但如果某個上游系統過于強勢，已經有成熟的數據同步解決方案時，可以在數據適配器與此上游系統之間架設一層數據中轉后臺，這個數據中轉后臺等于為此上游系統單獨服務的，用于平滑它的接入，數據適配器直接對接這個數據中轉后臺。 （3）接入配置。系統應該設計有接入方的管理功能，對于上游系統能夠配置數據適配置器的過濾規則、數據的轉換規則、容錯處理規則等。對于下游系統能夠配置數據消費者需要哪些數據、數據消費者的授權碼，數據加密的密鑰、消費者IP等等。 （4）配合上下游系統的開發聯調實施。對于上游系統接入，需要驗證上游系統同步過來的數據是否正確入庫，入庫的數據能否正常流轉到下游系統。如果開放平臺還為上游系統獨立開發了數據中轉后臺，還需要驗證上游的業務系統是否正確的把數據同步到數據中轉后臺。對于下游系統，一般需要驗證數據中心的數據是否正常流轉到下游系統，一般而言開發的聯調工作在于下游系統，但也需要數據開放平臺配合實施。 （5）上線前數據割接。對于上游接入的系統，需要把上游存量數據做一次割接。上游系統割接數據之后，數據中心會把數據復制多份給下游系統，系統順間暴發巨量的數據同步，對于數據中心性能會是一個考驗。因此割接宜在系統壓力最輕的時間段內執行（如晚上10點過后）。另外在割接上游系統的數據時務必保證數據的正確性，如果數據割接存在問題那么造成數據回滾的成本會相當大。對于下游系統，系統上線前宜采用文件的形式做一次歷史數據的全量割接，這樣對數據中心的壓力是最小的。 （6）上線后的運營管理。無論是上游系統，還是下游系統，在運營過程中肯定會提出很多優化建議或業務需求。對于這些建