大數據分析關鍵技術大數據分析關鍵技術概述即席查詢批量處理流式計算概述大數據計算分析模式分類即席查詢Ad-HocQuery批量處理Batch

ProcessingMap/Reduce流式計算Stream

Computing數據承載響應時間適用場景磁盤秒級(準實時)自然人交互式經營分析磁盤分鐘級至小時級(準實時)事前/事后大批量數據處理內存(事件窗口非全量數據)秒級(實時)實時事件分析實時風險干預針對不同的業務領域，需要采用不同的數據計算分析方式，快速發現數據價值。大數據計算分析模式分類即席查詢批量處理流式計算數據承載響應時即席查詢即席查詢（AdHoc）是用戶根據自己的需求，靈活的選擇查詢條件，系統能夠根據用戶的選擇生成相應的統計報表。即席查詢與普通應用查詢最大的不同是普通的應用查詢是定制開發的，而即席查詢是用戶自定義查詢條件。即席查詢StorageDistribute

File

SystemColumn

DatabaseResource

ManagementParallelCompute

FrameworkSQL

Syntax+

Compute

FrameworkSQL

SyntaxMetaDataBatch

ProcessingAd-Hoc

Query實時性：高即席查詢即席查詢（AdHoc）是用戶根據自己的需求，靈活的批量處理StorageDistribute

File

SystemColumn

DatabaseResource

ManagementParallelCompute

FrameworkSQL

Syntax+

Compute

FrameworkSQL

SyntaxMetaDataBatch

ProcessingAd-Hoc

QueryMapReduce是一種編程模型，用于大規模數據集的并行批量計算。概念Map和Reduce當前的主流實現是指定一個Map函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。形成這種模型的原因是：數據的分布式存儲、計算資源的分布式、并行計算減少計算時長。批量處理實時性：低批量處理StorageDistributeFileSys流式計算流數據的實時計算注重對流數據的快速高效處理、計算和分析。其特點是計算過程數據不落地，所有數據在內存中完成。其計算模型是根據規則生成容器，當數據流經過容器時，實時產生分析結果。流式計算InputAdapterOutputAdapterEngine

ClusterClusterManagementRule

RepositoryNoSQL實時性：高流式計算流數據的實時計算注重對流數據的快速高效處理、計算和分概述即席查詢批量處理流式計算概述Impala

NodeImpala架構ImpaladQueryPlannerQueryCoordinatorQueryExec

EngineCommon

HiveQL

&

InterfaceMetaDataSQLJDBCHiveMetaStoreHDFSNNStateStoreImpaladQueryPlannerQueryCoordinatorQueryExec

EngineImpaladQueryPlannerQueryCoordinatorQueryExec

EngineDataHDFS

DNHBaseDataHDFS

DNHBaseDataHDFS

DNHBaseImpala

NodeImpala

NodeLocal

Direct

ReadsThriftImpalaNodeImpala架構ImpaladQuerHive架構DataHDFS

DNTask

TrackerJob

TrackerName

NodeHadoopHive(OverHadoop0.20.X)SQLJDBCWUIThrift

ServerDriver(Compiler,

Optimizer,

Executor)Meta

StoreThriftServer：JDBC通過ThriftServer連接到Hive。ThriftServer連接MetaStore來讀取hive的元數據信息。MetaStore：在關系型數據庫中存放表/分區/列元數據，可以低延遲的快速的訪問到需要的元數據信息。Driver/QueryCompiler/ExecutionEngine:客戶端提交的HiveSQL首先進入Driver，然后Driver會為此次HiveSQL的執行創建一個Session，Driver維護整個session的生命周期。Driver首先將HiveSQL傳送給QueryCompiler，然后由QueryCompiler來對用戶提交的HiveSQL進行編譯/檢查/優化并最終生成MapReduce任務。ExecutionEngine會與Hadoop進行交互，將MapReduce任務交給Hadoop來執行，并從Hadoop取得最終的執行結果，并返回給用戶。解析HiveSQL之后生成所MapReduce任務，在運行中訪問元數據信息時，將直接讀取生成的物理計劃時產生的plan.xml，此文件會被放入Hadoop的分布式緩存中，，MapReduce任務可以從分布式緩存中獲得相應的元數據。Hive架構DataHDFSDNTaskTrackerJImpala相對于Hive的優勢Impala不需要把中間結果寫入磁盤，省掉了大量的I/O開銷。省掉了MapReduce作業啟動的開銷。MapReduce啟動task的速度很慢（默認每個心跳間隔是3秒鐘），Impala直接通過相應的服務進程來進行作業調度，速度快了很多。

Impala借鑒了MPP并行數據庫的思想，可以做更多的查詢優化，從而省掉不必要的shuffle、sort等開銷。使用了支持Datalocality的I/O調度機制，盡可能地將數據和計算分配在同一臺機器上進行，減少了網絡開銷。用C++實現，做了很多有針對性的硬件優化。對外提供多語言API、多種訪問協議。中間結果作業調度作業分發數據訪問代碼實現Impala相對于Hive的優勢Impala不需要把中間結果概述即席查詢批量處理流式計算概述MapReduce

v0.23.x

(YARN)Node

ManagerContainerApp

MasterNode

ManagerContainerApp

MasterNode

ManagerContainerResource

ManagerClientClientJob

SubmissionContainerMapReduce

StatusResource

RequestNode

Status從0.23.0版本開始，Hadoop的MapReduce框架完全重構。新的HadoopMapReduce框架命名為MapReduceV2——YARNMapReducev0.23.x(YARN)NodeM概述即席查詢批量處理流式計算Primeton

CEPStorm概述流數據處理技術對比傳統規則引擎(概念)維度流數據處理技術傳統規則引擎處理方式“窗口模式”多維關聯分析基于對屬性的判斷處理模型富狀態無狀態異常處理內存狀態數據的自動化恢復服務無狀態，數據重跑簡單舉例每種硬幣各有多少個對硬幣進行分類按時間區間、按長度區間、按時間與長度混合區間、按特有屬性值等規則所建立起的對象集合，存放在內存中。若動畫中，再對已分類的硬幣進行自動打包，有兩種方式：1.判斷槽中的硬幣數量，觸發打包動作；2.判斷槽中的硬幣重量，觸發打包動作；窗口模式如動畫中對硬幣的分揀動作：可以根據硬幣的物理屬性設計不同的判斷規則（軌道寬度，轉角等），完成分類。決策判斷流數據處理技術對比傳統規則引擎(概念)維度流數據處理技術普元CEP平臺架構事件采集層AgentAgentAgentAgent外部系統系統A系統B系統C系統D接入層Input

Cluster

1…n分析引擎平臺結果執行層規則庫分析引擎OSGiBased…分析引擎OSGiBased接入層Output

Cluster

1…n分析規則開發(離線開發)規則開發IDE(Eclipse

Based)ActionActionActionAction應用門戶(功能松耦合)管理門戶(規則模板生命周期管理)運維門戶(引擎監控、全局配置、自動化部署)業務門戶(規則實例業務參數配置)分析集群運行環境管理控制環境普元CEP平臺架構事件采集層AgentAgentAgentA普元CEP平臺特色基于云計算PaaS架構分布式集群管控框架系統級物理主機/虛擬機管理進程級服務實例管理集群配置分析規則熱更新/熱部署與虛擬機鏡像結合分析服務快速部署與規則庫結合規則插件快速部署集群通知渠道規則實例快速應用自動化、圖形化運維事件分析平臺面向數據流基于內存內存狀態數據遷移冷熱數據分離與恢復集群規模水平伸縮事件動態路由分析規則開發、管理與應用規則模板開發IDE事件元數據類SQL規則語言Action元數據Web規則實例配置與熱部署Web規則模板管理普元CEP平臺特色基于云計算PaaS架構系統級進程級集群配置分布式集群管控框架AnyOS持久化集群AMQP

MQ集群ZooKeeper

集群Web控制臺(無狀態,多實例)負載均衡(SessionSticky)物理/邏輯拓撲規則模板模板狀態規則實例監控業務進程(過濾/聚合)(SupportZKClient)ZKClientOS(SupportNodeJS)監控業務進程(過濾/聚合)(unSupportZKClient)ProcessDaemon(NodeJS+ZKClient)OS(unSupportNodeJS)監控業務進程(過濾/聚合)(unSupportZKClient)ProcessDaemon(Java+ZKClient)OSAgent(NodeJS+ZKClient+MQClient)OSAgent(NodeJS+ZKClient+MQClient)OSAgent(Java+ZKClient+MQClient)管控服務ZK客戶端DB客戶端MQ客戶端分布式集群管控框架AnyOS持久化集群AMQPMQ集群規則部署與配置場景運維人員Repository業務Console業務人員DBCEPEngine1CEPEngine2CEPEngine3ZooKeeper3.下載規則的表單頁面2.保存規則到倉庫運維Console4.規則參數配置5.保存規則參數配置6.保存規則參數配置到ZooKeeperengine1Rule1Rule2Rule3engine2Rule4engines7.通知Engine1.上傳規則部署包8.下載規則2’.保存規則信息到DB規則部署與配置場景運維人員Repository業務Conso接出層分析引擎接入層分析引擎A規則實例A1規則實例A2規則實例An規則實例A3分析引擎B事件路由1事件路由p事件路由…事件去重1事件去重q事件去重…NoSQL負載均衡（可選）事件輸入事件輸出集群管理MQMQ事件分析規則1:n分析引擎實例n:1規則規則實例B1規則實例B2規則實例Bn規則實例B3普元CEP關鍵技術——事件路由與去重多副本冗余增強可靠性接出層分析接入層分析引擎A規則規則規則規則分析引擎B事件路由分析引擎實例3實例4實例2普元CEP關鍵技術——實例狀態復制接出層接入層實例1實例A1實例A2異常實例A3事件路由事件去重事件輸入事件輸出實例A4新增場景說明實例A2異常實例A4新增ContextContextContextContext包括最終接收事件號狀態對象關鍵步驟1從A1或A3中選擇一個實例，如A3關鍵步驟2將A3工作暫停，獲得其Context此時A1正常工作，A2已經退出，A3暫停關鍵步驟3創建新的實例A4（未啟動狀態）將Context復制到A4中恢復A3的工作狀態，啟動A4關鍵點業務不中斷事件去重完成對重復事件的過濾可靠性取決于集群內實例個數CCCD狀態數據遷移與備份分析引擎實例3實例4實例2普元CEP關鍵技術——實例狀態復制JVM普元CEP關鍵技術——規則實例水平遷移內存規則數事件量JVM1分析引擎事件大小容量預估模型規則實例m事件*狀態*分布式集群管理框架規則實例n事件*狀態*規則實例x事件*狀態*NoSQL(MongoDB)JVM1規則實例m事件*狀態*規則實例x事件*狀態*JVM2規則實例x事件*狀態*運行期實時監控系統容量擴展JVM普元CEP關鍵技術——規則實例水平遷移內存規則數事件量普元CEP關鍵技術——基于OSGi的規則部署包規則庫目錄結構和導出規則部署包的目錄結構一致，方便部署和下載CEPEngine規則庫的目錄結構與console的規則庫目錄結構區別在于web目錄。一個rule目錄作為一個OSGi的bundlerulesJavapackageclassesrule1.ruleepseps1.epslib3rd1.jarAction1.classExtFunc.classrule1eventSourceevent1.eventevent2.eventwebform1.jsprule2Listener1.classMETA-INFMANIFEST.MFextextconfig1OSGi

Bundle規則庫/部署包規則模板熱部署普元CEP關鍵技術——基于OSGi的規則部署包規則庫目錄結構普元CEP

1.5平臺(主機管理)普元CEP1.5平臺(主機管理)普元CEP1.5平臺(集群管理)普元CEP1.5平臺(集群管理)普元CEP1.5平臺(實例管理)普元CEP1.5平臺(實例管理)普元CEP1.5平臺(規則模板管理)普元CEP1.5平臺(規則模板管理)普元CEP1.5平臺(規則實例管理)普元CEP1.5平臺(規則實例管理)普元CEP1.5平臺(狀態監控)普元CEP1.5平臺(狀態監控)普元CEP1.5平臺(規則模板元數據)普元CEP1.5平臺(規則模板元數據)普元CEP1.5平臺(規則實例業務參數配置)普元CEP1.5平臺(規則實例業務參數配置)普元CEP1.5平臺(規則包)普元CEP1.5平臺(規則包)概述即席查詢批量處理流式計算Primeton

CEPStorm概述Storm基本概念StreamSpoutBoltStreaming

GroupingTaskWork消息流，一個無盡的Tuple序列。Topology規則拓撲，由多個Spout和Bolt組成。消息發送器，區分可靠與不可靠。消息處理器，業務邏輯載體，多入多出。消息分組方式，數據進入Blot的策略。工作任務，可以是Spout或Blot。工作進程，當JVM且執行Topology的一部分。Storm基本概念StreamSpoutBoltStreamStorm集群組件主控節點運行一個被稱為Nimbus的后臺程序，它負責在Storm集群內分發代碼，分配任務給工作機器，并且負責監控集群運行狀態。工作節點運行一個被稱為Supervisor的后臺程序。Supervisor負責監聽從Nimbus分配給它執行的任務，并啟動或停止執行任務的工作進程(Worker)。每一個工作進程(Worker)執行一個Topology的子集。Nimbus和Supervisor節點之間所有的協調工作是通過Zookeeper集群來實現的。此外，Nimbus和Supervisor進程都是無狀態的。節點間信令ZooKeeper用ZeroMQ作為底層消息隊列,使消息能快速被處理。數據傳遞ZeroMQStorm集群組件主控節點運行一個被稱為Nimbus的后臺程Storm可靠性原則保證每個Tuple被Topology完整執行。每個Tuple經過Spout/Blot后，形成一個消息樹。消息樹Emit通知新Tuple生成,

Ack通知Tuple處理完畢。生命周期超時每個Tuple都包含一個超時時間，超時后會進行重發。消息樹跟蹤對Topology中每個Tuple的唯一ID進行異或計算。每個Blot/Spout作為單獨進程，內部包含狀態數據。進程的異常退出將導致數據丟失。問題Storm可靠性原則保證每個Tuple被Topology完整Storm對比Hadoop

MRHadoop

MRStorm主控節點JobTrackerNimbus工作節點TaskTrackerSupervisor工作容器ChildWorker規則JobTopology原語Map/ReduceSpout/Blot開發方式Java,etc.

CodingJava,etc.

Coding面向領域事前/事后分析事中準實時分析Storm對比HadoopMRHadoopMRStoStorm對比普元CEP普元CEPStorm開發語言與環境EPL/Java，Eclipse

IDEJava工作模式單節點、多節點級聯分布式高可用方案多副本冗余+消息連續性保障消息樹跟蹤開發場景類SQL

EPL開發數據源定義業務表單設計規則部署包導出精通Java開發人員的業務人員運維場景規則多版本管理OSGi代碼熱部署進程級、VM級資源池管理無業務參數配置Web圖形化表單熱更新命令行參數傳遞無法熱更新Storm對比普元CEP普元CEPStorm開發語言與環謝謝！謝謝！大數據分析關鍵技術大數據分析關鍵技術概述即席查詢批量處理流式計算概述大數據計算分析模式分類即席查詢Ad-HocQuery批量處理Batch

ProcessingMap/Reduce流式計算Stream

Computing數據承載響應時間適用場景磁盤秒級(準實時)自然人交互式經營分析磁盤分鐘級至小時級(準實時)事前/事后大批量數據處理內存(事件窗口非全量數據)秒級(實時)實時事件分析實時風險干預針對不同的業務領域，需要采用不同的數據計算分析方式，快速發現數據價值。大數據計算分析模式分類即席查詢批量處理流式計算數據承載響應時即席查詢即席查詢（AdHoc）是用戶根據自己的需求，靈活的選擇查詢條件，系統能夠根據用戶的選擇生成相應的統計報表。即席查詢與普通應用查詢最大的不同是普通的應用查詢是定制開發的，而即席查詢是用戶自定義查詢條件。即席查詢StorageDistribute

File

SystemColumn

DatabaseResource

ManagementParallelCompute

FrameworkSQL

Syntax+

Compute

FrameworkSQL

SyntaxMetaDataBatch

ProcessingAd-Hoc

Query實時性：高即席查詢即席查詢（AdHoc）是用戶根據自己的需求，靈活的批量處理StorageDistribute

File

SystemColumn

DatabaseResource

ManagementParallelCompute

FrameworkSQL

Syntax+

Compute

FrameworkSQL

SyntaxMetaDataBatch

ProcessingAd-Hoc

QueryMapReduce是一種編程模型，用于大規模數據集的并行批量計算。概念Map和Reduce當前的主流實現是指定一個Map函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。形成這種模型的原因是：數據的分布式存儲、計算資源的分布式、并行計算減少計算時長。批量處理實時性：低批量處理StorageDistributeFileSys流式計算流數據的實時計算注重對流數據的快速高效處理、計算和分析。其特點是計算過程數據不落地，所有數據在內存中完成。其計算模型是根據規則生成容器，當數據流經過容器時，實時產生分析結果。流式計算InputAdapterOutputAdapterEngine

ClusterClusterManagementRule

RepositoryNoSQL實時性：高流式計算流數據的實時計算注重對流數據的快速高效處理、計算和分概述即席查詢批量處理流式計算概述Impala

NodeImpala架構ImpaladQueryPlannerQueryCoordinatorQueryExec

EngineCommon

HiveQL

&

InterfaceMetaDataSQLJDBCHiveMetaStoreHDFSNNStateStoreImpaladQueryPlannerQueryCoordinatorQueryExec

EngineImpaladQueryPlannerQueryCoordinatorQueryExec

EngineDataHDFS

DNHBaseDataHDFS

DNHBaseDataHDFS

DNHBaseImpala

NodeImpala

NodeLocal

Direct

ReadsThriftImpalaNodeImpala架構ImpaladQuerHive架構DataHDFS

DNTask

TrackerJob

TrackerName

NodeHadoopHive(OverHadoop0.20.X)SQLJDBCWUIThrift

ServerDriver(Compiler,

Optimizer,

Executor)Meta

StoreThriftServer：JDBC通過ThriftServer連接到Hive。ThriftServer連接MetaStore來讀取hive的元數據信息。MetaStore：在關系型數據庫中存放表/分區/列元數據，可以低延遲的快速的訪問到需要的元數據信息。Driver/QueryCompiler/ExecutionEngine:客戶端提交的HiveSQL首先進入Driver，然后Driver會為此次HiveSQL的執行創建一個Session，Driver維護整個session的生命周期。Driver首先將HiveSQL傳送給QueryCompiler，然后由QueryCompiler來對用戶提交的HiveSQL進行編譯/檢查/優化并最終生成MapReduce任務。ExecutionEngine會與Hadoop進行交互，將MapReduce任務交給Hadoop來執行，并從Hadoop取得最終的執行結果，并返回給用戶。解析HiveSQL之后生成所MapReduce任務，在運行中訪問元數據信息時，將直接讀取生成的物理計劃時產生的plan.xml，此文件會被放入Hadoop的分布式緩存中，，MapReduce任務可以從分布式緩存中獲得相應的元數據。Hive架構DataHDFSDNTaskTrackerJImpala相對于Hive的優勢Impala不需要把中間結果寫入磁盤，省掉了大量的I/O開銷。省掉了MapReduce作業啟動的開銷。MapReduce啟動task的速度很慢（默認每個心跳間隔是3秒鐘），Impala直接通過相應的服務進程來進行作業調度，速度快了很多。

Impala借鑒了MPP并行數據庫的思想，可以做更多的查詢優化，從而省掉不必要的shuffle、sort等開銷。使用了支持Datalocality的I/O調度機制，盡可能地將數據和計算分配在同一臺機器上進行，減少了網絡開銷。用C++實現，做了很多有針對性的硬件優化。對外提供多語言API、多種訪問協議。中間結果作業調度作業分發數據訪問代碼實現Impala相對于Hive的優勢Impala不需要把中間結果概述即席查詢批量處理流式計算概述MapReduce

v0.23.x

(YARN)Node

ManagerContainerApp

MasterNode

ManagerContainerApp

MasterNode

ManagerContainerResource

ManagerClientClientJob

SubmissionContainerMapReduce

StatusResource

RequestNode

Status從0.23.0版本開始，Hadoop的MapReduce框架完全重構。新的HadoopMapReduce框架命名為MapReduceV2——YARNMapReducev0.23.x(YARN)NodeM概述即席查詢批量處理流式計算Primeton

CEPStorm概述流數據處理技術對比傳統規則引擎(概念)維度流數據處理技術傳統規則引擎處理方式“窗口模式”多維關聯分析基于對屬性的判斷處理模型富狀態無狀態異常處理內存狀態數據的自動化恢復服務無狀態，數據重跑簡單舉例每種硬幣各有多少個對硬幣進行分類按時間區間、按長度區間、按時間與長度混合區間、按特有屬性值等規則所建立起的對象集合，存放在內存中。若動畫中，再對已分類的硬幣進行自動打包，有兩種方式：1.判斷槽中的硬幣數量，觸發打包動作；2.判斷槽中的硬幣重量，觸發打包動作；窗口模式如動畫中對硬幣的分揀動作：可以根據硬幣的物理屬性設計不同的判斷規則（軌道寬度，轉角等），完成分類。決策判斷流數據處理技術對比傳統規則引擎(概念)維度流數據處理技術普元CEP平臺架構事件采集層AgentAgentAgentAgent外部系統系統A系統B系統C系統D接入層Input

Cluster

1…n分析引擎平臺結果執行層規則庫分析引擎OSGiBased…分析引擎OSGiBased接入層Output

Cluster

1…n分析規則開發(離線開發)規則開發IDE(Eclipse

Based)ActionActionActionAction應用門戶(功能松耦合)管理門戶(規則模板生命周期管理)運維門戶(引擎監控、全局配置、自動化部署)業務門戶(規則實例業務參數配置)分析集群運行環境管理控制環境普元CEP平臺架構事件采集層AgentAgentAgentA普元CEP平臺特色基于云計算PaaS架構分布式集群管控框架系統級物理主機/虛擬機管理進程級服務實例管理集群配置分析規則熱更新/熱部署與虛擬機鏡像結合分析服務快速部署與規則庫結合規則插件快速部署集群通知渠道規則實例快速應用自動化、圖形化運維事件分析平臺面向數據流基于內存內存狀態數據遷移冷熱數據分離與恢復集群規模水平伸縮事件動態路由分析規則開發、管理與應用規則模板開發IDE事件元數據類SQL規則語言Action元數據Web規則實例配置與熱部署Web規則模板管理普元CEP平臺特色基于云計算PaaS架構系統級進程級集群配置分布式集群管控框架AnyOS持久化集群AMQP

MQ集群ZooKeeper

集群Web控制臺(無狀態,多實例)負載均衡(SessionSticky)物理/邏輯拓撲規則模板模板狀態規則實例監控業務進程(過濾/聚合)(SupportZKClient)ZKClientOS(SupportNodeJS)監控業務進程(過濾/聚合)(unSupportZKClient)ProcessDaemon(NodeJS+ZKClient)OS(unSupportNodeJS)監控業務進程(過濾/聚合)(unSupportZKClient)ProcessDaemon(Java+ZKClient)OSAgent(NodeJS+ZKClient+MQClient)OSAgent(NodeJS+ZKClient+MQClient)OSAgent(Java+ZKClient+MQClient)管控服務ZK客戶端DB客戶端MQ客戶端分布式集群管控框架AnyOS持久化集群AMQPMQ集群規則部署與配置場景運維人員Repository業務Console業務人員DBCEPEngine1CEPEngine2CEPEngine3ZooKeeper3.下載規則的表單頁面2.保存規則到倉庫運維Console4.規則參數配置5.保存規則參數配置6.保存規則參數配置到ZooKeeperengine1Rule1Rule2Rule3engine2Rule4engines7.通知Engine1.上傳規則部署包8.下載規則2’.保存規則信息到DB規則部署與配置場景運維人員Repository業務Conso接出層分析引擎接入層分析引擎A規則實例A1規則實例A2規則實例An規則實例A3分析引擎B事件路由1事件路由p事件路由…事件去重1事件去重q事件去重…NoSQL負載均衡（可選）事件輸入事件輸出集群管理MQMQ事件分析規則1:n分析引擎實例n:1規則規則實例B1規則實例B2規則實例Bn規則實例B3普元CEP關鍵技術——事件路由與去重多副本冗余增強可靠性接出層分析接入層分析引擎A規則規則規則規則分析引擎B事件路由分析引擎實例3實例4實例2普元CEP關鍵技術——實例狀態復制接出層接入層實例1實例A1實例A2異常實例A3事件路由事件去重事件輸入事件輸出實例A4新增場景說明實例A2異常實例A4新增ContextContextContextContext包括最終接收事件號狀態對象關鍵步驟1從A1或A3中選擇一個實例，如A3關鍵步驟2將A3工作暫停，獲得其Context此時A1正常工作，A2已經退出，A3暫停關鍵步驟3創建新的實例A4（未啟動狀態）將Context復制到A4中恢復A3的工作狀態，啟動A4關鍵點業務不中斷事件去重完成對重復事件的過濾可靠性取決于集群內實例個數CCCD狀態數據遷移與備份分析引擎實例3實例4實例2普元CEP關鍵技術——實例狀態復制JVM普元CEP關鍵技術——規則實例水平遷移內存規則數事件量JVM1分析引擎事件大小容量預估模型規則實例m事件*狀態*分布式集群管理框架規則實例n事件*狀態*規則實例x事件*狀態*NoSQL(MongoDB)JVM1規則實例m事件*狀態*規則實例x事件*狀態*JVM2規則實例x事件*狀態*運行期實時監控系統容量擴展JVM普元CEP關鍵技術——規則實例水平遷移內存規則數事件量普元CEP關鍵技術——基于OSGi的規則部署包規則庫目錄結構和導出規則部署包的目錄結構一致，方便部署和下載CEPEngine規則庫的目錄結構與console的規則庫目錄結構區別在于web目錄。一個rule目錄作為一個OSGi的bundlerulesJavapackageclassesrule1.ruleepseps1.epslib3rd1.jarAction1.classExtFunc.classrule1eventSourceevent1.eventevent2.eventwebform1.jsprule2Listener1.classMETA-INFMANIFEST.MFextextconfig1OSGi

Bundle規則庫/部署包規則模板熱部署普元CEP關鍵技術——基于OSGi的規則部署包規則庫目錄結構普元CEP

1.5平臺(主機管理)普元CEP1.5平臺(主機管理)普元CEP1.5平臺(集群管理)普元CEP1.5平臺(集群管理)普元CEP1.5平臺(實例管理)普元CEP1.5平臺(實例管理)普元CEP1.5平臺(規則模板管理)普元CEP1.5平臺(規則模板管理)普元CEP1.5平臺(規則實例管理)普元CEP1