Storm–流式處理框架——講師：龐磊01Storm并發機制02Storm通信機制01Storm并發機制Storm并發機制01WorkerprocessesExecutors(threads)TasksStorm并發機制02Worker–進程一個Topology拓撲會包含一個或多個Worker（每個Worker進程只能從屬于一個特定的Topology）這些Worker進程會并行跑在集群中不同的服務器上，即一個Topology拓撲其實是由并行運行在Storm集群中多臺服務器上的進程所組成Executor–線程Executor是由Worker進程中生成的一個線程每個Worker進程中會運行拓撲當中的一個或多個Executor線程一個Executor線程中可以執行一個或多個Task任務（默認每個Executor只執行一個Task任務），但是這些Task任務都是對應著同一個組件（Spout、Bolt）。Task實際執行數據處理的最小單元每個task即為一個Spout或者一個BoltTask數量在整個Topology生命周期中保持不變，Executor數量可以變化或手動調整（默認情況下，Task數量和Executor是相同的，即每個Executor線程中默認運行一個Task任務）Storm并發機制03設置Worker進程數Config.setNumWorkers(intworkers)設置Executor線程數TopologyBuilder.setSpout(Stringid,IRichSpoutspout,Numberparallelism_hint)TopologyBuilder.setBolt(Stringid,IRichBoltbolt,Numberparallelism_hint)：其中，parallelism_hint即為executor線程數設置Task數量ComponentConfigurationDeclarer.setNumTasks(Numberval)例：Configconf=newConfig();conf.setNumWorkers(2);TopologyBuildertopologyBuilder=newTopologyBuilder();topologyBuilder.setSpout("spout",newMySpout(),1);topologyBuilder.setBolt("green-bolt",newGreenBolt(),2).setNumTasks(4).shuffleGrouping("blue-spout);Storm并發機制04Storm并發機制05Rebalance–再平衡即，動態調整Topology拓撲的Worker進程數量、以及Executor線程數量支持兩種調整方式：1、通過StormUI2、通過StormCLI通過StormCLI動態調整：例：stormrebalancemytopology-n5-eblue-spout=3-eyellow-bolt=10將mytopology拓撲worker進程數量調整為5個“blue-spout”所使用的線程數量調整為3個“yellow-bolt”所使用的線程數量調整為10個02Storm通信機制Storm通信機制01Worker進程間的數據通信ZMQZeroMQ開源的消息傳遞框架，并不是一個MessageQueueNettyNetty是基于NIO的網絡框架，更加高效。（之所以Storm0.9版本之后使用Netty，是因為ZMQ的license和Storm的license不兼容。）Worker內部的數據通信Disruptor實現了“隊列”的功能。可以理解為一種事件監聽或者消息處理機制，即在隊列當中一邊由生產者放入消