柚子快報(bào)邀請(qǐng)碼778899分享:分布式 Kafka安裝部署
柚子快報(bào)邀請(qǐng)碼778899分享:分布式 Kafka安裝部署
目錄
一.準(zhǔn)備工作
二.安裝步驟
?三.啟動(dòng) 測(cè)試kafka
1.啟停kafka
2.創(chuàng)建kafka主題
3.查看創(chuàng)建的主題
4.kafka生產(chǎn)者發(fā)送消息
5.kafka消費(fèi)者接受消息
6.刪除主題
一.準(zhǔn)備工作
需要安裝zookeeper下載安裝包?
可以去官網(wǎng)下載你們需要的版本 下載地址:Apache Kafka
我使用的是kafka_2.12-2.4.1.tgz
二.安裝步驟
1.上傳并解壓
將kafka的gz包上傳到虛擬機(jī)的/opt/software目錄,然后解壓到/opt/servers
[root@master ~]# tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/servers/
2.重命名
為了方便,我把解壓后的文件重命名為kafka
[root@master ~]# cd /opt/servers/
[root@master servers]# mv /opt/servers/kafka_2.12-2.4.1 /opt/servers/kafka
3.配置環(huán)境變量
[root@master servers]# vi /etc/profile
#添加以下內(nèi)容
export KAFKA_HOME=/opt/servers/kafka
export PATH=$PATH:$KAFKA_HOME/bin
按:wq保存退出,記得生效:source /etc/profile
4.修改配置文件
進(jìn)入kafka的config目錄,修改server.properties文件
[root@master servers]# cd ./kafka/config/
[root@master config]# vi ./server.properties
設(shè)置kafka broker編號(hào),每個(gè)broker id都不能相同。
設(shè)置Zookeeper集群地址?
?設(shè)置日志目錄
?5.分發(fā)至另外兩臺(tái)虛擬機(jī)
[root@master ~]# scp -r /opt/servers/kafka/ slave1:/opt/servers/
[root@master ~]# scp -r /opt/servers/kafka/ slave2:/opt/servers/
分發(fā)環(huán)境變量,分發(fā)完成后分別在slave1,slave2生效:source /etc/profile
[root@master ~]# scp -r /etc/profile slave1:/etc/profile
[root@master ~]# scp -r /etc/profile slave2:/etc/profile
然后需要分別修改這兩臺(tái)kafka的config/server.properties文件,將broker.id分別改為 1,2,因?yàn)閎roker.id不能相同。
?三.啟動(dòng) 測(cè)試kafka
1.啟停kafka
注意:在啟動(dòng)kafka之前要先啟動(dòng)zookeeper
#啟動(dòng)kafka
[root@master ~]# kafka-server-start.sh -daemon /opt/servers/kafka/config/server.properties
#關(guān)閉kafka
[root@master ~]# kafka-server-stop.sh /opt/servers/kafka/config/server.properties
2.創(chuàng)建kafka主題
創(chuàng)建一個(gè)名為test的主題,分區(qū)數(shù)為4
[root@master ~]# kafka-topics.sh --create --topic test --zookeeper master:2181,slave1:2181,slave2:2181 --partitions 4 --replication-factor 2
3.查看創(chuàng)建的主題
[root@master ~]# kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181
?4.kafka生產(chǎn)者發(fā)送消息
使用kafka生產(chǎn)者向test主題發(fā)送消息
[root@master ~]# kafka-console-producer.sh --topic test --broker-list master:9092,slave1:9092,slave2:9092
?5.kafka消費(fèi)者接受消息
使用kafka消費(fèi)者消費(fèi)test主題的數(shù)據(jù)? ?--from-beginning表示從頭消費(fèi)
[root@master ~]# kafka-console-consumer.sh --topic test --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning
可以開兩個(gè)窗口,一邊開啟生產(chǎn)者發(fā)送消息,一邊開啟消費(fèi)者接受消息
6.刪除主題
[root@master ~]# kafka-topics.sh --delete --topic test --zookeeper master:2181,slave1:2181,slave2:2181
?刪除主題時(shí)如果出現(xiàn)以下問(wèn)題:
?解決辦法:在config/server.properties添加??delete.topic.enable=true
柚子快報(bào)邀請(qǐng)碼778899分享:分布式 Kafka安裝部署
好文鏈接
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點(diǎn)和立場(chǎng)。
轉(zhuǎn)載請(qǐng)注明,如有侵權(quán),聯(lián)系刪除。