1、安裝Zookeeper

創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)與策劃設(shè)計(jì),武川網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:武川等地區(qū)。武川做網(wǎng)站價(jià)格咨詢:18980820575

2、下載：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz

kafka_2.10-0.9.0.1.tgz      #2.10指的中Scala版本，0.9.0.1批的是Kafka版本。

3、安裝與配置

解壓：tar xzf kafka_2.10-0.9.0.1.tgz

配置config/server.properties

[root@Hadoop-NN-01 config]# vim server.properties

broker.id=1         #唯一，填數(shù)字
port=9092           #端口
host.name=Hadoop-NN-01      #唯一，填服務(wù)器IP
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dir=/home/hadoopuser/kafka-logs         #設(shè)置日志的硬盤路徑
num.partitions=1            #分區(qū)數(shù) 關(guān)于分區(qū)數(shù)：1天有1億行可以分8個(gè)分區(qū)，如果每天幾十萬行就一個(gè)分區(qū)。
num.io.threads=8            #為機(jī)器的核數(shù)
zookeeper.connect=Zookeeper-01:2181,Zookeeper-02:2181,Zookeeper-03:2181    # zookeeper Servers列表，各節(jié)點(diǎn)以逗號分開。

4、配置環(huán)境變量（如果單節(jié)點(diǎn)多個(gè)Broker請不要配置）

[root@Hadoop-NN-01 ~]# vim /etc/profile
export KAFKA_HOME=/home/hadoopuser/kafka_2.10-0.9.0.1
export PATH=$PATH:$KAFKA_HOME/bin

[root@Hadoop-NN-01 ~]# source /etc/profile    #使環(huán)境變量生效

5、啟動(dòng)kafka

[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-server-start.sh config/server.properties &

6、驗(yàn)證

jps查看一下kafka是否已經(jīng)啟動(dòng)

7、創(chuàng)建topic：

[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --create --zookeeper Zookeeper-01:2181, Zookeeper-02:2181, Zookeeper-03:2181 --replication-factor 3 --partitions 1 --topic mykafka

8、查看Topic：

[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --list --zookeeper Zookeeper-01:2181, Zookeeper-02:2181, Zookeeper-03:2181

Topic：mykafka

查看詳細(xì)信息：

[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-topics.sh --describe --zookeeper Zookeeper-01:2181, Zookeeper-02:2181, Zookeeper-03:2181

Topic: mykafka   PartitionCount:1 ReplicationFactor:3   Configs:
Topic: mykafka   Partition: 0   Leader: 3      Replicas: 3,1,2     Isr: 3,1,2

9、發(fā)送消息：

[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-console-producer.sh --broker-list Hadoop-NN-01:9092 --topic mykafka

10、接收消息：

[root@Hadoop-NN-01 kafka_2.10-0.9.0.1]$ bin/kafka-console-consumer.sh --zookeeper Zookeeper-01:2181 --topic mykafka --from-beginning

注：如果要最新的數(shù)據(jù)，不帶--from-beginning參數(shù)即可。

11、可能出現(xiàn)的錯(cuò)誤

ERROR：Failed to load class "org.slf4j.impl.StaticLoggerBinder"

解決方法：

下載slf4j-1.7.6.zip wget http://www.slf4j.org/dist/slf4j-1.7.6.zip

把slf4j-nop-1.7.6.jar 包復(fù)制到kafka libs目錄下面

12、關(guān)于Kafka：

在kafka的核心思路中，不需要在內(nèi)存里緩存數(shù)據(jù)，因?yàn)椴僮飨到y(tǒng)的文件緩存已經(jīng)足夠完善和強(qiáng)大，只要不做隨機(jī)寫，順序讀寫的性能是非常高效的。kafka的數(shù)據(jù)只會(huì)順序append，數(shù)據(jù)的刪除策略是累積到一定程度或者超過一定時(shí)間再刪除。

Kafka另一個(gè)獨(dú)特的地方是將消費(fèi)者信息保存在客戶端而不是MQ服務(wù)器，這樣服務(wù)器就不用記錄消息的投遞過程，每個(gè)客戶端都自己知道自己下一次應(yīng)該從什么地方什么位置讀取消息，消息的投遞過程也是采用客戶端主動(dòng)pull的模型，這樣大大減輕了服務(wù)器的負(fù)擔(dān)。

Kafka還強(qiáng)調(diào)減少數(shù)據(jù)的序列化和拷貝開銷，它會(huì)將一些消息組織成Message Set做批量存儲(chǔ)和發(fā)送，并且客戶端在pull數(shù)據(jù)的時(shí)候，盡量以zero-copy的方式傳輸，利用sendfile(對應(yīng)Java里的FileChannel.transferTo/transferFrom)這樣的高級IO函數(shù)來減少拷貝開銷?？梢?，kafka是一個(gè)精心設(shè)計(jì)，特定于某些應(yīng)用的MQ系統(tǒng)，這種偏向特定領(lǐng)域的MQ系統(tǒng)我估計(jì)會(huì)越來越多，垂直化的產(chǎn)品策略值的考慮。

附：推薦幾個(gè)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)

zookeeper -> zooinspector

kafka-> kafkaoffsetmonitor

storm-> storm ui

相關(guān)閱讀：

網(wǎng)站題目：CentOS6.5安裝Kafka集群
網(wǎng)頁鏈接：http://uogjgqi.cn/article/cdehcgp.html