kafka 操作相关命令记录

calendar Aug 25, 2022 · 1 min read · kafka

本命令所使用版本为 2.6.0， 其它版本也类似，参考即可

指定topic保存消息策略为1天

1/data/kafka_2.12-2.6.0/bin/kafka-configs.sh \
2--zookeeper zk01.mylass.com:2181,zk02.mylass.com:2181,zk03.mylass.com:2181/kafka2 \
3--entity-type topics \
4--entity-name topic-name \
5--alter \
6--add-config retention.ms=86400000

查看添加的配置

1/data/kafka_2.12-2.6.0/bin/kafka-configs.sh \
2--zookeeper zk01.mylass.com:2181,zk02.mylass.com:2181,zk03.mylass.com:2181/kafka2 \
3--entity-type topics \
4--entity-name topic-name \
5--describe

删除配置，修改可以直接使用添加的命令，同一个配置，后面会覆盖掉前面的

1/data/kafka_2.12-2.6.0/bin/kafka-configs.sh \
2--zookeeper zk01.mylass.com:2181,zk02.mylass.com:2181,zk03.mylass.com:2181/kafka2 \
3--entity-type topics \
4--entity-name topic-name \
5--alter \
6--delete-config retention.ms

查看topic 占用磁盘空间。 所有分区+所有副本的全部占用空间，单位是字节 (byte)，大小是包含了元数据的，不仅仅是消息大小

1/data/kafka_2.12-2.6.0/bin/kafka-log-dirs.sh \
2--bootstrap-server 10.0.24.3:9092 \
3--topic-list topic-name \
4--describe \
5--command-config /data/kafka_2.12-2.6.0/config/group.properties | grep -oP \
6'(?<=size":)\d+' | awk '{ sum += $1 } END { print sum }'

查看所有 groupd 积压情况

1/data/kafka_2.12-2.6.0/bin/kafka-consumer-groups.sh \
2--bootstrap-server 10.0.24.3:9092 \
3--all-groups \
4--describe \
5--command-config /data2/kafka_2.12-2.6.0/config/group.properties

PS: 最后两个例子，使用 --bootstrap-server 的情况下，由于本例中是使用的带有 SASL 认证的 kafka， 所以需要 --command-config 指定认证信息。对于没有使用的SASL的，可以删除该参数。