柚子快報(bào)激活碼778899分享：分布式 kafka

http://yzkb.51969.com/

kafka_2.11-2.4.1單機(jī)安裝

下載

官網(wǎng)地址: http://kafka.apache.org/downloads.html

# 2.11是scala的版本，2.4.1是kafka的版本

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11‐2.4.1.tgz

創(chuàng)建kafka相關(guān)目錄

mkdir -p /usr/local/kafka/kafka_2.11-2.4.1/kafka-logs

上傳安裝包并解壓

tar -zxvf kafka_2.11-2.4.1.tgz -C /usr/local/kafka/

[選]修改配置文件

如果zookeeper和kafka在同一臺(tái)機(jī)器上,單機(jī)版無需任何修改用默認(rèn)配置可以啟動(dòng)

修改原配置文件前建議先備份一下 cp /usr/local/kafka/kafka_2.11-2.4.1/config/server.properties /usr/local/kafka/kafka_2.11-2.4.1/config/server.properties.bak

建議修改日志目錄 默認(rèn)是log.dirs=/tmp/kafka-logs,/tmp下的文件會(huì)被系統(tǒng)定期清理,建議修改成自己的目錄 配置zookeeper zookeeper默認(rèn)配置zookeeper.connect=localhost:2181,如果kafka和zookeeper在同一臺(tái)機(jī)器上可以不修改 監(jiān)聽器listeners 默認(rèn)監(jiān)聽localhost:9092,如果服務(wù)器是多網(wǎng)卡可以配置多個(gè),用逗號(hào)分隔,如果配置為0.0.0.0:9092則表示監(jiān)聽所有網(wǎng)卡 對(duì)外公布的監(jiān)聽器advertised.listeners

advertised.listeners對(duì)外公布的監(jiān)聽器,給客戶端和其他broken使用的,(你想想看,listeners是 Broker 用來監(jiān)聽網(wǎng)絡(luò)請(qǐng)求的那么, 其他 Broker 或者客戶端想要與它通信, 則需要知道具體的 IP:PORT 吧？所以, 為了讓別人知道自己的監(jiān)聽器, 那么就需要公開出去, 當(dāng)然這個(gè)公開的形式, 是通過 zk 來共享數(shù)據(jù)) 如果advertised.listeners不配置,則使用和listeners一樣的屬性 advertised.listeners不支持0.0.0.0這種形式, 所以如果listeners設(shè)置成0.0.0.0，則必須設(shè)置advertised.listeners屬性。(0.0.0.0表示監(jiān)聽 Broker 上任意的網(wǎng)卡的, 你將這個(gè)發(fā)布出去, 那么別的 Broker 和客戶端怎么知道你具體的 ip 和端口呢？)

[選]修改啟動(dòng)腳本

默認(rèn)需要1G內(nèi)存，如果內(nèi)存不足起不來，特別是1G的云服務(wù)器

vim /usr/local/kafka/kafka_2.11-2.4.1/bin/kafka-server-start.sh

#!/bin/bash

if [ $# -lt 1 ];

then

echo "USAGE: $0 [-daemon] server.properties [--override property=value]*"

exit 1

fi

base_dir=$(dirname $0)

if [ "x$KAFKA_LOG4J_OPTS" = "x" ]; then

export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"

fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

# 默認(rèn)是1G

export KAFKA_HEAP_OPTS="-Xmx256M -Xms256M"

fi

EXTRA_ARGS=${EXTRA_ARGS-'-name kafkaServer -loggc'}

COMMAND=$1

case $COMMAND in

-daemon)

EXTRA_ARGS="-daemon "$EXTRA_ARGS

shift

;;

*)

;;

esac

exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"

啟動(dòng)zookeeper

zookeeper安裝啟動(dòng)參考https://blog.csdn.net/weixin_41883161/article/details/137680225

后臺(tái)啟動(dòng)kafka

sh /usr/local/kafka/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.11-2.4.1/config/server.properties &

查看啟動(dòng)日志

tail -f /usr/local/kafka/kafka_2.11-2.4.1/logs/server.log

停止kafka

sh /usr/local/kafka/kafka_2.11-2.4.1/bin/kafka-server-stop.sh

柚子快報(bào)激活碼778899分享：分布式 kafka

http://yzkb.51969.com/

好文鏈接