掃二維碼與項目經理溝通
我們在微信上24小時期待你的聲音
解答本文疑問/技術咨詢/運營咨詢/技術建議/互聯(lián)網交流
在kafka的集群中,會存在著多個主題topic,在每一個topic中,又被劃分為多個partition,為了防止數(shù)據不丟失,每一個partition又有多個副本。

成都創(chuàng)新互聯(lián)公司堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網站設計、網站建設、企業(yè)官網、英文網站、手機端網站、網站推廣等服務,滿足客戶于互聯(lián)網時代的洛隆網站設計、移動媒體設計的需求,幫助企業(yè)找到有效的互聯(lián)網解決方案。努力成為您成熟可靠的網絡建設合作伙伴!
在整個集群中,總共有三種副本角色:
1、leader副本:也就是leader主副本,每個分區(qū)都有一個leader副本,為了保證數(shù)據一致性,所有的生產者與消費者的請求都會經過該副本來處理。
2、follower副本:除了首領副本外的其他所有副本都是follower副本,follower副本不處理來自客戶端的任何請求,只負責從leader副本同步數(shù)據,保證與首領保持一致。
如果leader副本發(fā)生崩潰,就會從這其中選舉出一個leader。
3、優(yōu)先副本:創(chuàng)建分區(qū)時指定的優(yōu)先leader。如果不指定,則為分區(qū)的第一個副本。
follower需要從leader中同步數(shù)據,但是由于網絡或者其他原因,導致數(shù)據阻塞,出現(xiàn)不一致的情況。
為了避免這種情況,follower會向leader發(fā)送請求信息,這些請求信息中包含了follower需要數(shù)據的偏移量offset,而且這些offset是有序的。
有的。
kafka是LinkedIn在2014年開源的一個復雜事件處理系統(tǒng),將數(shù)據組織成事件流進行處理。即stream processing.
kafka特點
1. 分布式系統(tǒng),易于擴展,容錯性好
2. 使用日志分區(qū),便于實現(xiàn)消息并發(fā)消費
3. 實時處理數(shù)據,并且對消息持續(xù)存儲
術語解釋
Topic: kafka中的消息以topic為單位進行歸納
producer: 向kafka發(fā)送消息的為producer
consumer: 從kafka中消費消息為consumer
不能。
KafKa不可能越過Zookeeper直接聯(lián)系Kafkabroker,一旦Zookeeper停止工作,它就不能服務客戶端請求。
Zookeeper主要用于在集群中不同節(jié)點之間進行通信,在Kafka中,它被用于提交偏移量,因此如果節(jié)點在任何情況下都失敗了,它都可以從之前提交的偏移量中獲取,除此之外,它還執(zhí)行其他活動,如: leader檢測、分布式同步、配置管理、識別新節(jié)點何時離開或連接、集群、節(jié)點實時狀態(tài)等等。
到此,以上就是小編對于kafka集群工作原理的問題就介紹到這了,希望這3點解答對大家有用。

我們在微信上24小時期待你的聲音
解答本文疑問/技術咨詢/運營咨詢/技術建議/互聯(lián)網交流