柚子快報(bào)邀請(qǐng)碼778899分享：分布式 kafka查看數(shù)據(jù)

http://yzkb.51969.com/

由于消息消費(fèi)速度處理慢或是消費(fèi)端故障會(huì)導(dǎo)致數(shù)據(jù)產(chǎn)生積壓。 那怎么查看數(shù)據(jù)積壓量呢？ Consumer-Groups管理； 在Kafka 的bin目錄下提供了 kafka-consumer-groups.sh 腳本。此腳本用于管理消費(fèi)情況。 查詢消費(fèi)者組

$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查詢消費(fèi)者組詳情

$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group groupname

消費(fèi)積壓情況分析

LogEndOffset ：下一條將要被加入到日志的消息的位移

CurrentOffset ：當(dāng)前消費(fèi)的位移

LAG ：消息堆積量

消息堆積量：消息中間件服務(wù)端中所留存的消息與消費(fèi)掉的消息之間的差值即為消息堆積量也稱之為消費(fèi)滯后量

消息發(fā)送到LeaderA之后會(huì)更新LEO的值，F(xiàn)ollower1和Fllower2也會(huì)實(shí)時(shí)拉取LeaderA中的消息來更新自己，HW就表示A、B、C三者同時(shí)達(dá)到的日志位移。也就是A、B、C三者中LEO最小的那個(gè)值。由于B、C拉取A消息之間延時(shí)問題，所有HW必然不會(huì)與Leader的LEO相等，即LEO>=HW

重設(shè)消費(fèi)者組位移

最早處

$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute

最新處

$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-latest --execute

某個(gè)位置

$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-offset 2000 --execute

調(diào)整到某個(gè)時(shí)間之后得最早位移

$KAFKA_DIR/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-of

柚子快報(bào)邀請(qǐng)碼778899分享：分布式 kafka查看數(shù)據(jù)

http://yzkb.51969.com/

推薦閱讀