淮南网警,企业网站建设网站优化推广,济宁网站建设软件开发,外网域名背景
在flink执行中#xff0c;jobManager是一个负责执行流式应用执行和检查点生成的组件#xff0c;一旦发生故障#xff0c;那么其负责的所有应用都会被取消#xff0c;所以我们需要对JobManager配置高可用的模式
JobManager高可用配置
配置JobManager的高可用需要使用…背景
在flink执行中jobManager是一个负责执行流式应用执行和检查点生成的组件一旦发生故障那么其负责的所有应用都会被取消所以我们需要对JobManager配置高可用的模式
JobManager高可用配置
配置JobManager的高可用需要使用到zookeeper一方面zookeeper可以进行领导的选举工作这样备用jobmanager就可以在主jobmanager故障时进行接管另一方面zookeeper可以用于持久存储少量的元数据以下就是jobmanager的高可用配置图 当备用的JobManager接手主Jobmanager的工作时他会执行以下步骤 1.从zookeeper中获取jar包jobgraph图检查点所在的Hdfs远程存储的路径句柄 2.使用最近检查点重新启动应用在这个过程中flink会保证状态的一致性从这里也可以看出如果应用没有开启检查点时flink此时只是重启应用不保证状态的
