福州网站建设机构,重庆网站,seo软件哪个好,做网站一定要认证吗目录 一、服务器信息二、启动zookeeper和kafka集群2.1、先启动zookeeper集群2.2、再启动kafka集群 三、手动调整分区副本3.1、手动调整分区副本的前提条件3.2、手动调整分区副本的示例需求3.3、手动调整分区副本的示例 一、服务器信息
四台服务器 原始服务器名称原始服务器ip节… 目录 一、服务器信息二、启动zookeeper和kafka集群2.1、先启动zookeeper集群2.2、再启动kafka集群 三、手动调整分区副本3.1、手动调整分区副本的前提条件3.2、手动调整分区副本的示例需求3.3、手动调整分区副本的示例 一、服务器信息
四台服务器 原始服务器名称原始服务器ip节点centos7虚拟机1192.168.136.27broker0centos7虚拟机2192.168.136.28broker1centos7虚拟机3192.168.136.29broker2centos7虚拟机4192.168.136.30broker3
二、启动zookeeper和kafka集群
2.1、先启动zookeeper集群 启动zookeeper集群 [rootlocalhost /]# cd /opt/module/zookeeper-3.5.7/bin/
[rootlocalhost bin]# pwd
/opt/module/zookeeper-3.5.7/bin
[rootlocalhost bin]# sh zkServer.sh start2.2、再启动kafka集群 启动kafka集群 [rootlocalhost bin]# cd /opt/module/kafka-3.0.0/
[rootlocalhost kafka-3.0.0]# pwd
/opt/module/kafka-3.0.0
[rootlocalhost kafka-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties
[rootlocalhost kafka-3.0.0]# jps三、手动调整分区副本
3.1、手动调整分区副本的前提条件
在生产环境中每台服务器的配置和性能不一致但是Kafka只会根据自己的代码规则创建对应的分区副本就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。
3.2、手动调整分区副本的示例需求
创建一个新的topic4个分区两个副本名称为onetopic。将该topic的所有副本都存储到broker0和broker1两台服务器上。下图中L表示leaderF表示follower
3.3、手动调整分区副本的示例 创建一个新的 topic名称为 onetopic [rootlocalhost kafka-3.0.0]# bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 4 --replication-factor 2 --topic onetopic查看分区副本存储情况由下图可知目前分布在broker0、broker1、broker2和broker3的4台服务器上。 [rootlocalhost kafka-3.0.0]# bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --describe --topic onetopic创建副本存储计划所有副本都指定存储在 broker0、broker1中 [rootlocalhost kafka-3.0.0]# vim increase-replication-factor.json
//输入如下内容
{version:1,partitions:[{topic:onetopic,partition:0,replicas:[0,1]},{topic:onetopic,partition:1,replicas:[0,1]},{topic:onetopic,partition:2,replicas:[1,0]},{topic:onetopic,partition:3,replicas:[1,0]}]
}执行副本存储计划 [rootlocalhost kafka-3.0.0]# bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092 --reassignment-json-file increase-replication-factor.json --execute验证副本存储计划 [rootlocalhost kafka-3.0.0]# bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.136.27:9092 --reassignment-json-file increase-replication-factor.json --verify查看分区副本存储情况。由下图可知已经分布在broker0、broker1的2台服务器上。 [rootlocalhost kafka-3.0.0]# bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --describe --topic onetopic
