實時數據存儲交換平臺數據訪問的實踐

0實施高效的實時/歷史數據業務,確保電力生產服務總體規劃自2005年銷售以來，浙江能源實時歷史數據庫平臺已連接到大量實時實時歷史記錄，如各級調度系統、能源系統和能源站在線監測系統，共計150多萬測量點。在數據接入的基礎上,通過鼓勵群眾性創新應用和開展實時歷史數據應用競賽等措施,在全省范圍內開發、實施和部署了數百個實時/歷史數據業務應用,范圍幾乎涵蓋了電力生產各個環節。實時/歷史數據庫平臺需要為這些業務應用系統提供基礎數據服務,但是隨著業務應用領域的擴展和大量業務應用的部署,現有的平臺訪問方式已不能滿足浙江電力實時/歷史數據應用發展的需要,有必要研究一套通用的平臺訪問方法。1當前分析1.1規范數據訪問國家電網公司發布了《國家電網公司海量歷史準實時數據管理平臺典型設計》(以下簡稱國網典設),對國家電網系統內海量實時/歷史數據庫管理平臺在系統架構、功能規范、數據交互規范等方面給出了規范性建議。國網典設要求網省公司采用集中部署模式,即數據接入和應用都要求在網省層面。國網典設對平臺的數據訪問服務也有要求,為各業務應用提供標準、統一的歷史/準實時數據訪問服務,例如CIS訪問接口、SQL訪問接口、UAPI(UniversalAPI,通用訪問接口)和OPC接口等。同時對數據服務進行封裝,對外提供一致性的調用接口,隔離外部各類應用對平臺數據的直接訪問。1.2平臺應用內容浙江電力實時/歷史數據庫平臺訪問架構如圖1所示。目前全省與實時/歷史數據庫平臺進行數據交互的主要應用如下:(1)調度管理應用。從實時/歷史數據庫平臺獲取全省220kV及以上的調度數據,用于潮流分析、線損分析、負荷監測、低周減載等調度輔助分析應用。(2)營銷管理應用。主要有用電信息采集系統、營銷直報系統、營銷需求側系統、售電市場系統等,從實時/歷史數據庫平臺獲取源于SCA-DA的測點和電量數據。(3)生產管理應用。主要應用系統包括生產管理系統(即PMS,含GIS)、應急管理系統、輸變電設備狀態監測系統、電能質量監測系統等。需要從實時/歷史數據庫平臺獲取在線監測數據、負荷數據等。(4)電網統計與規劃應用。主要應用于發展策劃部的生產統計分析系統、電網規劃輔助管理系統等,需要從實時/歷史數據庫平臺獲取全省220kV及以上測點的實時/歷史負荷數據及變電站一次接線圖。(5)其它與平臺相關的應用。各類業務應用對實時/歷史數據庫平臺數據的需求各不相同,所以各部門自行開發和部署了眾多的實時/歷史數據訪問接口(見圖1)。各類應用訪問平臺時缺少統一的規劃,定位也不明確,從而造成數據接口雜亂、重復,甚至在同一類業務應用中的不同系統也有不同接口。這不僅影響獲取數據的效率,還造成平臺接口管理和維護的困難,也浪費了平臺資源。隨著浙江電力各類業務系統的建設,新的應用不斷增加,如果沒有統一規劃,實時/歷史數據庫平臺上將會出現更多的數據訪問服務接口,極大增加平臺的運行壓力。如何制定符合浙江電力應用需求的實時/歷史數據庫平臺通用訪問方法,是目前面臨的重要問題。2訪問平臺的一般方法2.1提供實時/歷史數據庫訪問方法按照國網典設中數據訪問服務的要求以及浙江電力制定發布的《PI實時/歷史數據庫平臺數據訪問規范(試行)》的可用及易用性要求,通過Web-Service封裝PI-SDK和PI-API,提供標準、通用的實時/歷史數據庫平臺測點配置信息以及測點實時/歷史數據訪問方法。對平臺的數據訪問服務進行改造后的總體架構如圖2所示。2.2用戶身份引發接口函數通過對全省范圍內多年來實時/歷史數據業務應用需求的梳理和分析,總結實時/歷史數據庫平臺常用的訪問方法有以下幾類:(1)服務器連接與身份驗證。使用服務器統一的身份驗證機制,驗證訪問接口客戶端身份。接口自動生成驗證字段返回給客戶端,客戶端使用該驗證字段進行測點配置信息以及測點實時/歷史數據的訪問。用戶驗證信息具有時效性。(2)測點屬性查詢。用戶查詢特定服務器的測點信息,包括全測點查詢、過濾查詢以及特定測點的屬性查詢等方法。過濾查詢支持“*”等通配符以及多個屬性的過濾條件組合,過濾條件遵循測點檢索規范。(3)實時數據查詢。特定測點實時數據查詢服務,支持批量操作。(4)歷史數據查詢。任意時間段內測點歷史數據查詢,支持批量操作。對于特定時間點的歷史數據查詢,提供時間點前、后或插入輸出的方式返回測點歷史數據。2.3實時/數據安全近年來,浙江電力加大了實時/歷史數據庫平臺的應用與研究,新的實時/歷史數據應用不斷涌現,如輸變電設備狀態監測系統、分層分區的需求側實時管理系統等,常用的平臺數據訪問方法已不能滿足業務需求。因此,對常用的訪問方法進行了擴充。2.3.1統計數據的研究任意時間段內特定測點統計數據查詢,通過輸入統計方式(求和、最大、最小、平均等),查詢該時間段內所選統計方式的數據,支持批量操作。2.3.2數據過濾查詢查詢任意時間段內測點過濾后的歷史數據。通過輸入過濾條件,可查詢在該時間段內符合過濾條件的歷史數據,支持批量操作。2.3.3創建測點并修改特定測點的信息實時/歷史數據庫平臺中不僅保存著原始數據,還保存著經過計算和處理后的數據。在某些高級應用中還需要通過平臺訪問方法對計算點進行操作,如添加、修改、回寫二次數據等,針對這類應用定義如下:(1)測點添加、刪除操作。添加和刪除服務器測點。用戶可通過提供基本的屬性來創建新測點,并在創建成功后使用測點信息變更操作方法修改特定測點的屬性信息。(2)測點信息變更操作。變更特定測點的屬性信息,支持批量操作。用戶需保證測點的唯一性,對于測點標簽(Tag)屬性的修改,需提供原始屬性。用戶可通過提供測點ID來修改測點的任意屬性,無需提供屬性的原始信息,測點ID不可修改。(3)歷史數據刪除。任意時間段內測點歷史數據刪除,支持批量操作。(4)歷史數據插入。任意時間段內測點歷史數據插入,支持批量操作。支持替換、插入等多種方式的數據插入。(5)歷史數據修改。任意時間點測點數據修改,支持批量操作。支持插入、替換等多種方式的數據修改操作。2.4平臺內數據庫的查詢輸變電設備狀態監測系統需要從實時/歷史數據庫平臺獲取主變壓器、斷路器等設備的在線監測數據。首先通過測點屬性查詢方法獲取平臺中的測點信息,再通過實時數據查詢、歷史數據查詢等方法獲取平臺中的數據。分層分區的需求側管理系統不僅要獲取平臺中的實時/歷史數據,還需要通過統計數據查詢方法來獲取一段時間內測點的統計值。神經網絡計算、停電跳閘分析等高級功能是通過測點添加刪除操作、歷史數據插入、歷史數據修改等方法,把計算好的結果回寫到平臺中,供其他應用系統調用。浙江電力各應用系統與實時/歷史數據庫平臺間的數據訪問如圖3所示。以上應用實例說明,通用訪問方法能滿足目前浙江電力的應用需求。3解決了身份訪問問題,實現了uaps接口根據國家電網公司對海量歷史/準實時數據管理平臺的驗收標準,對現有實時/歷史數據庫平臺和應用情況進行了自查驗收評分。細致比對和分析現有平臺及應用與國家電網驗收標準存在的差異,明確平臺優化的方向。目前浙江電力實時/歷史數據庫平臺仍使用PI-SDK和PI-API等接口技術,需要按照國家電網實時數據庫接口UAPI標準進行改造。在研究使用通用的WebService技術實現實時/歷史數據庫平臺通用訪問方法的同時,對這些訪問方法調用的底層API接口進行了改造,使其符合國網典設要求。根據平臺通用訪問方法的分類,實現了14個通用訪問方法,并對其中10個方法進行了改造和優化,如表1所示。UAPI接口屏蔽了底層數據庫的具體實現細節及差異,對外提供統一的訪問接口為上層應用服務,從而實現了透明性以及分布式訪問。即使數據庫進行升級和替換,實時/歷史數據庫平臺通用訪問方法仍然適用,從而通過UAPI接口實現了通用訪問方法對不同數據庫的兼容。按照國網典設的要求,浙江電力實時/歷史數據庫平臺需要進行改造,從訪問方法的優化入手可以在不影響原有平臺正常運行的前提下,做到先并行后替代的無縫切換。“制定通用訪問方法,實現UAPI接口”遵循平穩過渡的改造原則,不僅降低了風險,也為應用系統對數據的訪問提供了統一的標準接口。結合目前正在開展的輸變電設備狀態監測系統項目對實時/歷史數據庫平臺通用訪問方法進