word链接点进去是网站怎么做,上海网络推广外包公司,做做做网站,网页正在跳转中1. kafka是什么
Kafka是由LinkedIn开发的一个分布式的消息队列。它是一款开源的、轻量级的、分布式、可分区和具有复制备份的#xff08;Replicated#xff09;、基于ZooKeeper的协调管理的分布式流平台的功能强大的消息系统。与传统的消息系统相比#xff0c;KafKa能够很好…1. kafka是什么
Kafka是由LinkedIn开发的一个分布式的消息队列。它是一款开源的、轻量级的、分布式、可分区和具有复制备份的Replicated、基于ZooKeeper的协调管理的分布式流平台的功能强大的消息系统。与传统的消息系统相比KafKa能够很好的处理活跃的流数据使得数据在各个子系统中高性能、低延迟地不停流转。
Kafka使用Scala编写它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
2. 什么是消息队列
消息队列是在消息的传输过程中保存消息的容器。 消息在原始的传输过程中是直接传输的端对端的数据传递但是有的时候我们需要将消息数据进行部分的缓冲存储以达到方便使用的目的中间的组件可以做消息的传输中间介质这个组件就是消息队列。更像是一个消息的蓄水池一样的功能
类比现实中更像是高速公路的休息区
3. 消息队列的好处
缓冲 解耦 异步 如果是同步服务如上图那么用户的体验度是非常差的因为需要将短信发送完毕然后在返回成功通知页面才会跳转但是如果短信发送遇见网络等问题没有办法直接发送这个时候客户需要等待很长的时间 直接将需要发送的消息放入到消息队列中然后消息服务会不停的扫描队列中需要发送的消息将数据发送出去但是不会让客户等待用户会大大的增加体验度
抵挡洪峰 如上图我们需要处理流量的波峰和抖动那么我们需要设定整个集群的处理能力达到最大的5M/s才可以但是大多数时候这个处理能力都是浪费的我们用不到 我们可以使用消息队列进行数据的存储然后计算服务慢慢去消息队列中拉取数据进行消费就可以了可以在一定程度节省成本
4. 消费订阅模式
通过以上的讲解我们可以了解整个kafka的原理和架构了消息队列其实就是一个数据传输过程中的缓冲区能够存储数据在流程中作为一个中间的介质承上启下在特定的情景下起到解耦缓冲异步的功能。
作为中间的介质它的上下游需要传输和拉取数据上游传输数据的部分称之为生产者生产数据发送到kafka中下游拉取数据的组件称之为消费者自己拉取想要的数据并且进行数据的计算和处理消费者和消费者以及kafka是三个部分大家一定要注意他们不是一个整体 其中生产者只是发送数据到队列中但是消费者在消费数据的时候却有两种不同的方式
1.点对点消费 点对点的方式在队列中的数据有且只有一个消费者可以消费数据在消费完毕数据以后会将数据从队列中删除这个数据有且只有一次消费
2.发布订阅模式 发布订阅模式中每个人可以消费数据这个数据会在队列中存储七天每个订阅这个数据的人都可以消费到相应的数据并且可以重复的进行消费数据在大多数情况下我们都使用发布订阅模式
5. kafka基础架构
kafka作为消息队列主要在大数据的处理和计算过程中起到承上启下的作用作为中间的一个缓冲中间件那么它首先就要具备数据的稳定性和可靠性并且存储数据量和吞吐量以及数据的检索速度一定要有所保证那么单台机器肯定是没有办法解决这个问题的在之前的所有的大数据组件部分我们都有所介绍首先要保证性能一定要多台机器分布式计算和存储才能保证性能其次就是数据一定要做副本备份才能在多台机器的集群中保证数据的稳定性。所以首先要给大家介绍的就是kafka的集群组成结构 kafka首先我们要知道它不是一个主从集群之前的课程中我们讲过主从集群中节点有的天生就是主节点不能被其他的从节点替代在非主从集群中每个节点都可以作为主节点如果一个节点宕机那么其他的节点可以选举为主节点管理整个集群在kafka集群中每个节点都称之为broker其中每个节点都存在一个kafka_controller组件但是只有一台节点的controller组件是活跃状态的其他的都是standby状态只有主节点宕机了那么从节点才会选举成为主节点但是究竟谁是主节点呢这个时候我们需要一个外部协调管理组件zookeeper进行集群选举
