大數(shù)據(jù)技術(shù)與應(yīng)用項(xiàng)目——kafka環(huán)境搭建原理

項(xiàng)目來自北京諾程佳華教育科技有限公司教學(xué)目標(biāo)熟悉Kafka環(huán)境搭建熟悉Kafka相關(guān)基本概念

kafka環(huán)境搭建原理Kafka是一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它有如下特性：1)通過O(I)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化，這種結(jié)構(gòu)對于即使數(shù)以TB的消息存儲也能夠保持長時間的穩(wěn)定性能。2)高吞吐量，即使是非常普通的硬件，Kafka也可以支持每秒數(shù)十萬的消息。3)支持通過Kafka服務(wù)器和消費(fèi)機(jī)集群來分區(qū)消息。4)支持Hadoop并行數(shù)據(jù)加載。

kafka環(huán)境搭建原理Kafka架構(gòu)Broker：Kafka集群包含一個或多個服務(wù)器，這種服務(wù)器被稱為brokerTopic：每條發(fā)布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存于一個或多個broker上但用戶只需指定消息的Topic即可生產(chǎn)或消費(fèi)數(shù)據(jù)而不必關(guān)心數(shù)據(jù)存于何處）Partition：Parition是物理上的概念，每個Topic包含一個或多個Partition。Producer：負(fù)責(zé)發(fā)布消息到Kafkabroker。Consumer：消息消費(fèi)者，向Kafkabroker讀取消息的客戶端。ConsumerGroup：每個Consumer屬于一個特定的ConsumerGroup（可為每個Consumer指定groupname，若不指定groupname則屬于默認(rèn)的group）。

kafka環(huán)境搭建原理

kafka環(huán)境搭建原理kafka的消息存儲和生產(chǎn)消費(fèi)模型?一個topic分成多個partition?每個partition內(nèi)部消息強(qiáng)有序，其中的每個消息都有一個序號叫offset?一個partition只對應(yīng)一個broker，一個broker可以管多個partition?消息不經(jīng)過內(nèi)存緩沖，直接寫入文件?根據(jù)時間策略刪除，而不是消費(fèi)完就刪除

kafka環(huán)境搭建原理kafka的消息存儲和生產(chǎn)消費(fèi)模型?producer自己決定往哪個partition寫消息，可以是輪詢的負(fù)載均衡，或者是基于hash的partition策略

kafka環(huán)境搭建原理kafka的消息存儲和生產(chǎn)消費(fèi)模型?consumer自己維護(hù)消費(fèi)到哪個offset?每個consumer都有對應(yīng)的group?group內(nèi)是queue消費(fèi)模型–各個consumer消費(fèi)不同的partition–因此一個消息在group內(nèi)只消費(fèi)一次

kafka環(huán)境搭建原理kafka的消息存儲和生產(chǎn)消費(fèi)模型group間是publish-subscribe消費(fèi)模型–各個group各自獨(dú)立消費(fèi)，互不影響–因此一個消息在被每個group消費(fèi)一次

kafka環(huán)境搭建原理storm+kafka有什么好處?滿足獲取輸入。產(chǎn)生輸出數(shù)據(jù)的基本需求?kafka的分布式、產(chǎn)生輸出數(shù)據(jù)的基本需求?kafka的分布式、高性能和storm吻合?pub-sub模型可以讓多個storm業(yè)務(wù)共享輸入數(shù)據(jù)?kafka靈活