苍南县住房和城乡规划建设局网站,国内做性视频网站,wordpress视频播放系统,微信购物商城小程序1、kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成#xff0c;header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候#xff0c;会在magic和crc32之间多一个字节…1、kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候会在magic和crc32之间多一个字节的数据attributes(保存一些相关属性比如是否压缩、压缩格式等等)如果magic的值为0那么不存在attributes属性。body是由N个字节构成的一个消息体包含了具体的key/value消息。2、怎么查看kafka的offset0.9版本以上可以用最新的Consumer client 客户端有consumer.seekToEnd() / consumer.position() 可以用于得到当前最新的offset。3、hadoop的shuffle过程①、Map端的shuffle Map端会处理输入数据并产生中间结果这个中间结果会写到本地磁盘而不是HDFS。每个Map的输出会先写到内存缓冲区中当写入的数据达到设定的阈值时系统将会启动一个线程将缓冲区的数据写到磁盘这个过程叫做spill。 在spill写入之前会先进行二次排序首先根据数据所属的partition进行排序然后每个partition中的数据再按key来排序。partition的目是将记录划分到不同的Reducer上去以期望能够达到负载均衡以后的Reducer就会根据partition来读取自己对应的数据。接着运行combiner(如果设置了的话)combiner的本质也是一个Reducer其目的是对将要写入到磁盘上的文件先进行一次处理这样写入到磁盘的数据量就会减少。最后将数据写到本地磁盘产生spill文件(spill文件保存在{mapred.local.dir}指定的目录中Map任务结束后就会被删除)。最后每个Map任务可能产生多个spill文件在每个Map任务完成前会通过多路归并算法将这些spill文件归并成一个文件。至此Map的shuffle过程就结束了。②、Reduce端的shuffle Reduce端的shuffle主要包括三个阶段copy、sort(merge)和reduce。 首先要将Map端产生的输出文件拷贝到Reduce端但每个Reducer如何知道自己应该处理哪些数据呢因为Map端进行partition的时候实际上就相当于指定了每个Reducer要处理的数据(partition就对应了Reducer)所以Reducer在拷贝数据的时候只需拷贝与自己对应的partition中的数据即可。每个Reducer会处理一个或者多个partition但需要先将自己对应的partition中的数据从每个Map的输出结果中拷贝过来。 接下来就是sort阶段也成为merge阶段因为这个阶段的主要工作是执行了归并排序。从Map端拷贝到Reduce端的数据都是有序的所以很适合归并排序。最终在Reduce端生成一个较大的文件作为Reduce的输入。4、spark集群运算的模式Spark 有很多种模式最简单就是单机本地模式还有单机伪分布式模式复杂的则运行在集群中目前能很好的运行在 Yarn和 Mesos 中当然Spark 还有自带的 Standalone 模式对于大多数情况 Standalone 模式就足够了如果企业已经有 Yarn 或者 Mesos 环境也是很方便部署的。standalone(集群模式)典型的Mater/slave模式不过也能看出Master是有单点故障的Spark支持ZooKeeper来实现 HA。on yarn(集群模式) 运行在 yarn 资源管理器框架之上由 yarn 负责资源管理Spark 负责任务调度和计算。on mesos(集群模式) 运行在 mesos 资源管理器框架之上由 mesos 负责资源管理Spark 负责任务调度和计算。on cloud(集群模式)比如 AWS 的 EC2使用这个模式能很方便的访问 Amazon的 S3;Spark 支持多种分布式存储系统HDFS 和 S35、HDFS读写数据的过程读1、跟namenode通信查询元数据找到文件块所在的datanode服务器2、挑选一台datanode就近原则然后随机服务器请求建立socket流3、datanode开始发送数据从磁盘里面读取数据放入流以packet为单位来做校验4、客户端以packet为单位接收现在本地缓存然后写入目标文件 写1、根namenode通信请求上传文件namenode检查目标文件是否已存在父目录是否存在2、namenode返回是否可以上传3、client请求第一个 block该传输到哪些datanode服务器上4、namenode返回3个datanode服务器ABC5、client请求3台dn中的一台A上传数据本质上是一个RPC调用建立pipelineA收到请求会继续调用B然后B调用C将真个pipeline建立完成逐级返回客户端
