海淘手表网站,织梦图片自适应网站源码,阿里巴巴网站服务内容,如何做企业网站步骤背景:因为因为公司的项目需要使用AWS的kafka#xff0c;但是在创建和使用过程中都遇到了一些报错和麻烦#xff0c;毕竟老外的东西#xff0c;和阿里云、华为使用起来还是不一样。 一、创建#xff08;创建的配置过程就略了#xff0c;就是配置一下可用区、型号#xff0…背景:因为因为公司的项目需要使用AWS的kafka但是在创建和使用过程中都遇到了一些报错和麻烦毕竟老外的东西和阿里云、华为使用起来还是不一样。 一、创建创建的配置过程就略了就是配置一下可用区、型号 注意使用过程中一定要打开 如果不打开公网访问和IAM的权限就无法创建firehose firehose就类似一个kafka的消费者端配置我这边的消费者是AWS的S3。 二、如何用命令管理kafka 下载命令地址https://kafka.apache.org/downloads 解压之后进入目录 cd kafka_2.13-2.8.1/bin/可以看到kafka相关的很多命令了
[sconceptip-10-8-4-105 kafka]$ cd kafka_2.13-2.8.1/bin/
[sconceptip-10-8-4-105 bin]$ ls
client.properties kafka-console-consumer.sh kafka-leader-election.sh kafka-run-class.sh trogdor.sh
connect-distributed.sh kafka-console-producer.sh kafka-log-dirs.sh kafka-server-start.sh windows
connect-mirror-maker.sh kafka-consumer-groups.sh kafka-metadata-shell.sh kafka-server-stop.sh zookeeper-security-migration.sh
connect-standalone.sh kafka-consumer-perf-test.sh kafka-mirror-maker.sh kafka-storage.sh zookeeper-server-start.sh
kafka-acls.sh kafka-delegation-tokens.sh kafka-preferred-replica-election.sh kafka-streams-application-reset.sh zookeeper-server-stop.sh
kafka-broker-api-versions.sh kafka-delete-records.sh kafka-producer-perf-test.sh kafka-topics.sh zookeeper-shell.sh
kafka-cluster.sh kafka-dump-log.sh kafka-reassign-partitions.sh kafka-verifiable-consumer.sh
kafka-configs.sh kafka-features.sh kafka-replica-verification.sh kafka-verifiable-producer.sh举例创建topic
./kafka-topics.sh --create --zookeeper 你的kafka地址 2 --partitions 1 --topic product
kafka地址在 因为AWS的kafka是使用zookeeper的方式进行管理的所以要招zookeeper的方式进行连接地址一定要选纯文本的方式。使用topic命令时候可能会出现报错类似以下
[2024-10-10 13:33:42,522] WARN Session 0x0 for server z-2.sconceptmqprd.y5xuv6.c1.kafka.me-central-1.amazonaws.com/unresolved:2181, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
java.nio.channels.UnresolvedAddressExceptionat java.base/sun.nio.ch.Net.checkAddress(Net.java:149)at java.base/sun.nio.ch.Net.checkAddress(Net.java:157)at java.base/sun.nio.ch.SocketChannelImpl.checkRemote(SocketChannelImpl.java:816)at java.base/sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:839)at org.apache.zookeeper.ClientCnxnSocketNIO.registerAndConnect(ClientCnxnSocketNIO.java:277)at org.apache.zookeeper.ClientCnxnSocketNIO.connect(ClientCnxnSocketNIO.java:287)at org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:1021)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1064)
AI解读之后可能会说1.网络不通 2.地址问题 3.配置问题都是鬼扯。其实就是kafka命令的版本问题换了一个版本就解决了。
