柚子快報邀請碼778899分享：分布式 Kafka安裝部署

http://yzkb.51969.com/

目錄

一.準備工作

二.安裝步驟

?三.啟動 測試kafka

1.啟停kafka

2.創(chuàng)建kafka主題

3.查看創(chuàng)建的主題

4.kafka生產(chǎn)者發(fā)送消息

5.kafka消費者接受消息

6.刪除主題

一.準備工作

需要安裝zookeeper下載安裝包?

可以去官網(wǎng)下載你們需要的版本 下載地址：Apache Kafka

我使用的是kafka_2.12-2.4.1.tgz

二.安裝步驟

1.上傳并解壓

將kafka的gz包上傳到虛擬機的/opt/software目錄，然后解壓到/opt/servers

[root@master ~]# tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/servers/

2.重命名

為了方便，我把解壓后的文件重命名為kafka

[root@master ~]# cd /opt/servers/

[root@master servers]# mv /opt/servers/kafka_2.12-2.4.1 /opt/servers/kafka

3.配置環(huán)境變量

[root@master servers]# vi /etc/profile

#添加以下內(nèi)容

export KAFKA_HOME=/opt/servers/kafka

export PATH=$PATH:$KAFKA_HOME/bin

按:wq保存退出，記得生效：source /etc/profile

4.修改配置文件

進入kafka的config目錄，修改server.properties文件

[root@master servers]# cd ./kafka/config/

[root@master config]# vi ./server.properties

設置kafka broker編號，每個broker id都不能相同。

設置Zookeeper集群地址?

?設置日志目錄

?5.分發(fā)至另外兩臺虛擬機

[root@master ~]# scp -r /opt/servers/kafka/ slave1:/opt/servers/

[root@master ~]# scp -r /opt/servers/kafka/ slave2:/opt/servers/

分發(fā)環(huán)境變量，分發(fā)完成后分別在slave1，slave2生效：source /etc/profile

[root@master ~]# scp -r /etc/profile slave1:/etc/profile

[root@master ~]# scp -r /etc/profile slave2:/etc/profile

然后需要分別修改這兩臺kafka的config/server.properties文件，將broker.id分別改為 1，2，因為broker.id不能相同。

?三.啟動 測試kafka

1.啟停kafka

注意：在啟動kafka之前要先啟動zookeeper

#啟動kafka

[root@master ~]# kafka-server-start.sh -daemon /opt/servers/kafka/config/server.properties

#關閉kafka

[root@master ~]# kafka-server-stop.sh /opt/servers/kafka/config/server.properties

2.創(chuàng)建kafka主題

創(chuàng)建一個名為test的主題，分區(qū)數(shù)為4

[root@master ~]# kafka-topics.sh --create --topic test --zookeeper master:2181,slave1:2181,slave2:2181 --partitions 4 --replication-factor 2

3.查看創(chuàng)建的主題

[root@master ~]# kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

?4.kafka生產(chǎn)者發(fā)送消息

使用kafka生產(chǎn)者向test主題發(fā)送消息

[root@master ~]# kafka-console-producer.sh --topic test --broker-list master:9092,slave1:9092,slave2:9092

?5.kafka消費者接受消息

使用kafka消費者消費test主題的數(shù)據(jù)? ?--from-beginning表示從頭消費

[root@master ~]# kafka-console-consumer.sh --topic test --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning

可以開兩個窗口，一邊開啟生產(chǎn)者發(fā)送消息，一邊開啟消費者接受消息

6.刪除主題

[root@master ~]# kafka-topics.sh --delete --topic test --zookeeper master:2181,slave1:2181,slave2:2181

?刪除主題時如果出現(xiàn)以下問題：

?解決辦法：在config/server.properties添加??delete.topic.enable=true

柚子快報邀請碼778899分享：分布式 Kafka安裝部署

http://yzkb.51969.com/

好文鏈接