小白如何免费做网站,珠海建设企业网站的公司,网站需备案,电影网站做多大会有风险目录 集群启动 相关概念 代理#xff1a;Broker 控制器#xff1a;Controller 启动ZooKeeper
启动Kafka 初始化ZooKeeper 初始化服务
启动任务调度器 创建数据管理器
创建远程数据管理器
创建副本管理器 创建ZK元数据缓存 创建Broker通信对象
创建网络通信对象 注册Brok…目录 集群启动 相关概念 代理Broker 控制器Controller 启动ZooKeeper
启动Kafka 初始化ZooKeeper 初始化服务
启动任务调度器 创建数据管理器
创建远程数据管理器
创建副本管理器 创建ZK元数据缓存 创建Broker通信对象
创建网络通信对象 注册Broker节点 启动控制器 初始化通道管理器 初始化事件管理器 初始化状态管理器 启动控制器 集群启动
在搭建完Kafka集群之后我们需要了解一些基本的概念并掌握如何正确地启动集群。以下是一些关键的概念介绍以及启动步骤。 相关概念 代理Broker
在使用Kafka之前我们需要启动Kafka服务进程这个服务进程通常被称为Kafka Broker或Kafka Server。由于Kafka是一个分布式消息系统在生产环境中通常需要多个服务进程组成集群来提供消息服务。因此每一个服务节点都称为一个Broker并且为了区分不同的服务节点每一个Broker都需要有一个唯一的全局ID即broker.id这个ID可以在Kafka软件的配置文件server.properties中进行配置。
示例配置如下
# The id of the broker. This must be set to a unique integer for each broker
# 集群ID
broker.id0
在我们的Kafka集群中每个节点都有自己的ID是一个唯一的整数。
主机kafka-broker1kafka-broker2kafka-broker3broker.id123 控制器Controller
Kafka作为一个分布式消息传输系统存在多个Broker服务节点并且采用了常见的主从Master-Slave架构。这意味着需要从多个Broker中选出一个用于管理整个Kafka集群的Master节点这个节点称为Controller。Controller是Kafka的核心组件之一其主要职责是在Apache Zookeeper的帮助下管理和协调整个Kafka集群。
如果在运行过程中Controller节点出现故障Kafka会依赖于ZooKeeper软件来选举出新的Controller以确保集群的高可用性。
Kafka集群中Controller的基本功能包括但不限于
Broker管理监听/brokers/ids节点相关的所有变化包括Broker数量的增减以及Broker对应数据的变化。Topic管理监听/brokers/topics节点相关的所有变化包括Topic的新增、修改和删除操作。Partition管理监听/admin/reassign_partitions、/isr_change_notification、/preferred_replica_election等节点相关的所有变化。数据服务启动分区状态机和副本状态机。 启动ZooKeeper
Kafka集群含有多个服务节点而在经典的主从架构中需要从多个服务节点中选出一个作为集群管理的Master节点即Controller。如果Controller节点出现故障则需要从其余的Slave节点中选举出一个新的Controller节点来接管管理功能。
Kafka依赖于ZooKeeper软件来实现Broker节点的选举功能。具体来说ZooKeeper提供了以下功能支持
创建节点创建一个节点时可以选择持久化创建或临时创建。持久化创建的节点会一直存在而临时创建的节点则依赖于客户端的连接状态一旦客户端断开连接节点也会被自动删除。节点唯一性ZooKeeper中的节点不允许重复创建因此多个客户端尝试创建相同的节点时只有第一个成功创建的客户端可以创建节点。监听机制客户端可以在ZooKeeper节点上设置监听器以便在节点状态发生变化时收到通知并作出响应。
Kafka利用ZooKeeper的这些特性来实现Controller节点的选举
当首次启动Kafka集群时多个Broker节点会同时启动并尝试连接ZooKeeper每个Broker节点都会尝试创建一个临时节点/controller。由于ZooKeeper中一个节点不允许重复创建因此最终只有一个Broker节点能够成功创建/controller节点这个Broker节点将成为Kafka集群的Controller负责管理整个集群。其他未成为Controller的Broker节点会在/controller节点上设置监听器以监听其状态变化。如果Controller节点发生故障导致连接中断/controller节点会被自动删除此时其他设置了监听器的Broker节点会检测到这一变化并尝试重新创建/controller节点成功者将成为新的Controller。
启动Kafka 初始化ZooKeeper
在Kafka Broker启动期间首先会创建一个ZooKeeper客户端KafkaZkClient以与ZooKeeper进行交互。创建完客户端对象后它会向ZooKeeper发送创建节点的请求这些节点都是持久化的。以下是一些重要的节点及其作用
/admin/delete_topics持久化节点用于配置待删除的主题。因删除过程可能涉及Broker下线或失败情况因此需要在Broker重新上线后根据此节点继续删除操作。一旦主题的所有分区数据被删除则清理该节点。/brokers/ids持久化节点存储服务节点ID标识。每当有新的Broker启动就在该节点下增加子节点。Broker ID必须唯一。/brokers/topics持久化节点包含服务节点中的主题详情如分区和副本。/brokers/seqid持久化节点用于自动生成Broker ID。/config/changes持久化节点当Kafka元数据发生变化时在该节点下创建子节点。/config/clients持久化节点存储客户端配置默认为空。/config/brokers持久化节点存储服务节点相关配置默认为空。/config/ips持久化节点存储IP配置默认为空。/config/topics持久化节点存储主题配置默认为空。/config/users持久化节点存储用户配置默认为空。/consumers持久化节点记录消费者相关信息。/isr_change_notification持久化节点用于通知Controller及时更新ISR列表。/latest_producer_id_block持久化节点存储PID块确保生产者请求得到响应。/log_dir_event_notification持久化节点当Broker中的数据路径出现问题时向ZooKeeper添加通知序号。/cluster/id持久化节点存储Kafka集群的唯一ID信息及其版本号。 初始化服务
启动任务调度器
每个Broker启动时都会创建一个内部调度器KafkaScheduler并启动使用Java中的定时任务线程池ScheduledThreadPoolExecutor来完成节点内部的工作任务。 创建数据管理器
每个Broker启动时创建数据管理器LogManager用于接收消息后的数据创建、查询、清理等处理。
创建远程数据管理器
每个Broker启动时创建远程数据管理器RemoteLogManager用于与其他Broker节点进行数据状态同步。
创建副本管理器
每个Broker启动时创建副本管理器ReplicaManager负责处理主题的副本。 创建ZK元数据缓存
每个Broker启动时创建ZK元数据缓存ZkMetadataCache用于缓存ZK中的Kafka元数据。 创建Broker通信对象
每个Broker启动时创建Broker间通信管理器BrokerToControllerChannelManager管理Broker与Controller间的通信。
创建网络通信对象
每个Broker启动时创建网络通信对象SocketServer用于与其他Broker进行通信包含Java NIO通信的Channel和Selector对象。 注册Broker节点
Broker启动时通过ZK客户端向ZK注册当前Broker节点ID创建临时节点。如果Broker与ZK的连接断开则临时节点会被删除。 启动控制器
控制器KafkaController是每个Broker启动时创建的核心对象用于与ZK建立连接并申请成为整个Kafka集群的管理者。如果申请成功它会初始化管理器并建立与其他Broker的数据通道。 初始化通道管理器
创建通道管理器ControllerChannelManager维护Controller与集群所有Broker节点间的网络连接并向Broker发送控制请求及接收响应。 初始化事件管理器
创建事件管理器ControllerEventManager用于管理Controller与集群所有Broker节点间的网络连接并向Broker发送控制请求及接收响应。 初始化状态管理器
创建状态管理器ControllerChangeHandler可监听/controller节点的操作并在节点创建、删除或数据变化时执行相应处理。 启动控制器
控制器对象启动后向事件管理器发送Startup事件。事件处理线程接收到事件后通过ZK客户端向ZK申请/controller节点。申请成功后执行一系列使当前节点成为Controller的操作包括注册ZooKeeper监听器、删除日志路径变更及ISR副本变更通知事件、启动Controller通道管理器以及启动副本状态机和分区状态机。
