dw 怎么做钓鱼网站,淘宝官网首页进入,创建企业网站,wordpress网站数量管理插件Kafka 01——Kafka的安装及简单入门使用 1. 下载安装1.1 JDK的安装1.2 Zookeeper的安装1.2.1 关于Zookeeper版本的选择1.2.2 下载、安装Zookeeper 1.3 kafka的安装1.3.1 下载1.3.2 解压1.3.3 修改配置文件 2. 启动 kafka2.1 Kafka启动2.2 启动 kafka 遇到的问题2.2.1 问题12.2.… Kafka 01——Kafka的安装及简单入门使用 1. 下载安装1.1 JDK的安装1.2 Zookeeper的安装1.2.1 关于Zookeeper版本的选择1.2.2 下载、安装Zookeeper 1.3 kafka的安装1.3.1 下载1.3.2 解压1.3.3 修改配置文件 2. 启动 kafka2.1 Kafka启动2.2 启动 kafka 遇到的问题2.2.1 问题12.2.2 问题2 3. 简单实用3.1 创建topic3.2 查看已创建的topic3.3 发送消息3.3.1 发送消息命令3.3.2 遇到的问题3.3.2.1 问题13.3.2.2 问题2 3.4 接收消息3.4.1 接收消息演示3.4.2 接收消息的相关知识小点 3.5 查看zk 4. 总结4.1 Kafka 基本概念4.2 常见命令4.2.1 常用的基础命令4.2.2 简单实用命令 4.3 数据日志4.4 结构图 1. 下载安装
1.1 JDK的安装
因为kafka本身的开发语言是Scala而Scala是基于 jdk 开发的所以要先安装jdk关于 jdk 的安装可以看下面的两篇文章如下 Linux安装JDK1.8.linux下普通用户非root用户安装JDK8.
1.2 Zookeeper的安装
1.2.1 关于Zookeeper版本的选择
可以根据下面下载的 kafaka 的版本选择对应的Zookeeper版本怎么选择如下 方式1直接看Kafka里libs下的jar包如下 方式2也可以通过查看源码看版本信息如下
1.2.2 下载、安装Zookeeper
去官网根据需要下载对应的版本如下 关于 Zookeeper 的安装可以看下面的文章 zookeeper安装与使用winlinux.
1.3 kafka的安装
1.3.1 下载
去官网下载需要的版本官网地址 https://kafka.apache.org/downloads.
1.3.2 解压
然后解压如下tar -zxvf kafka_2.12-2.8.2.tgz1.3.3 修改配置文件 修改配置文件 server.properties 如下 配置信息如下 # The id of the broker. This must be set to a unique integer for each broker.
broker.id0listenersPLAINTEXT://内网IP:9092
advertised.listenersPLAINTEXT://公网IP:9092zookeeper.connectzk的公网IP:2181# …… 其他配置先默认即可2. 启动 kafka
2.1 Kafka启动 启动命令如下 ./kafka-server-start.sh ../config/server.properties 启动成功之后显示 查看进程 ps -ef | grep kafka2.2 启动 kafka 遇到的问题
2.2.1 问题1
问题描述如下org.apache.kafka.common.KafkaException: Socket server failed to bind to XXX:9092: Cannot assign requested address.问题原因 服务器的公网IP对外暴露的ip和真实ipifconfig显示的ip可能只是映射关系用户访问对外ip时OpenStack会转发到对应的真实ip实现访问。但此时如果配置文件中 server.properties 配置中的是listenersPLAINTEXT://公网IP:9092 的时候无法启动因为socket无法绑定监听就会报上面的错误。解决方法也很简单将上面的配置改成listenersPLAINTEXT://内网IP:9092即可其他使用时正常使用公网ip即可跟真实的内网ip就没有关系了。 解决问题 先查看内网IP ifconfig再修改配置文件 server.properties如下 listenersPLAINTEXT://内网IP:9092
advertised.listenersPLAINTEXT://公网IP:9092然后重新启动即可。
2.2.2 问题2
3. 简单实用
3.1 创建topic
如下./kafka-topics.sh --create --zookeeper zookeeper服务的IP:2181 --replication-factor 1 --partitions 1 --topic susu-topic3.2 查看已创建的topic
如下./kafka-topics.sh -list --zookeeper zookeeper服务的IP:21813.3 发送消息
3.3.1 发送消息命令
如下./kafka-console-producer.sh --broker-list 内网IP:9092 --topic susu-topic或者./kafka-console-producer.sh --broker-list 公网IP:9092 --topic susu-topic3.3.2 遇到的问题
3.3.2.1 问题1
问题描述如下[2023-08-10 09:01:57,758] WARN [Producer clientIdconsole-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:15,979] WARN [Producer clientIdconsole-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:49,538] WARN [Producer clientIdconsole-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:50,562] ERROR Error when sending message to topic susu-topic with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka.common.errors.TimeoutException: Topic susu-topic not present in metadata after 60000 ms.[2023-08-10 09:03:18,069] WARN [Producer clientIdconsole-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:03:47,001] WARN [Producer clientIdconsole-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)解决问题 这里我的处理是开放 9092 端口关于开放端口和防火墙问题可以看下面的文章 linux下查看防火墙状态、关闭防火墙、开放关闭端口等.
3.3.2.2 问题2
开放端口之后的问题如下问题描述 WARN [Producer clientIdconsole-producer] Connection to node -1 (/XXX:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)解决问题 这里就是重启服务重启kafka问题就解决了不知道啥问题总之重启能解决百分之九十九的问题
3.4 接收消息
3.4.1 接收消息演示
如下./kafka-console-consumer.sh --bootstrap-server 外网IP或内网IP:9092 --topic susu-topic --from-beginning3.4.2 接收消息的相关知识小点
如下 消费方式1: 从头开始消费./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic susu-topic --from-beginning消费方式2: 从最后一条消息的偏移量1开始消费./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic susu-topic 具体如下
3.5 查看zk
如下
4. 总结
4.1 Kafka 基本概念
Kafka 是一种消息队列主要用来处理大量数据状态下的消息队列一般用来做日志的处理。既然是消息队列那么 Kafka 也就拥有消息队列的相应的特性了。Kafka 像其他MQ一样也有自己的基础架构主要存在生产者 Producer、Kafka 集群 Broker、消费者Consumer、注册消息Zookeeper. Topic主题一个虚拟的概念由1到多个 Partitions 组成可以理解为一个队列生产者和消费者都是面向一个Topic。Partition分区实际消息存储单位。为了实现扩展性一个非常大的Topic可以分布到多个Broker上一个Topic可以分为多个 Partition每个 Partition 是一个有序的队列(分区有序不能保证全局有序)。Producer消息生产者向 Kafka 中发布消息的角色。Consumer消息消费者从 Kafka 中拉取消息消费的客户端。Broker经纪人一台 Kafka 服务器就是一个 Broker一个集群由多个 Broker 组成一个 Broker 可以容纳多个 Topic。
4.2 常见命令
4.2.1 常用的基础命令
启动命令./kafka-server-start.sh ../config/server.properties 停止命令 ./kafka-server-stop.sh地点
4.2.2 简单实用命令
创建topic# 创建topic
./kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 1 --partitions 1 --topic susu-topic查看已经创建的topic信息# 查看已经创建的topic信息
./kafka-topics.sh -list --zookeeper zookeeper的IP:2181发送消息./kafka-console-producer.sh --broker-list 内网IP:9092 --topic susu-topic或者./kafka-console-producer.sh --broker-list 公网IP:9092 --topic susu-topic接收消息./kafka-console-consumer.sh --bootstrap-server 外网IP或内网IP:9092 --topic susu-topic --from-beginning4.3 数据日志
查看数据日志存放路径看配置文件里配的哪个路径 log.dirs如下
4.4 结构图
如下
