做微课常用的网站,德州王霞网站建设,wordpress好用插件,网站浏览器兼容目录
概述
部署模式
会话模式#xff08;Session Mode#xff09;
单作业模式(Per-Job Mode)
应用模式(Application Mode)
运行模式#xff08;资源管理模式#xff09;
Standalone运行模式
会话模式部署
应用模式部署
Yarn运行模式
会话模式部署
单作业模式部…目录
概述
部署模式
会话模式Session Mode
单作业模式(Per-Job Mode)
应用模式(Application Mode)
运行模式资源管理模式
Standalone运行模式
会话模式部署
应用模式部署
Yarn运行模式
会话模式部署
单作业模式部署
应用模式部署
优化
K8S运行模式了解 概述 Flink 是一个多功能框架以混合搭配的方式支持许多不同的部署场景。 下图显示了每个 Flink 集群的构建块。 Flink客户端它获取 Flink 应用程序的代码将其转换为 JobGraph 并将其提交给 JobManager。
JobManager 是 Flink 中央工作协调组件的名称。它具有针对不同资源提供者的实现这些实现在高可用性、资源分配行为和支持的作业提交模式方面有所不同。将工作分配到 TaskManager其中运行实际操作符例如sources, transformations 和 sinks。
TaskManager 是实际执行 Flink 作业工作的服务。 Flink作业提交的一般提交流程如下 部署模式
在一些应用场景中对于集群资源分配和占用的方式可能会有特定的需求。Flink为各种场景提供了不同的部署模式主要有以下三种
Application Mode应用模式专门为一个应用程序运行集群。作业的main方法在 JobManager 上执行。支持在应用程序中多次调用“execute”/“executeAsync”。Per-Job ModePer-Job 模式已弃用专门为一项作业运行一个集群。作业的main方法在客户端运行。Session Mode会话模式一个 JobManager 实例管理同一 TaskManager 集群的多个作业。 它们的区别主要在于集群的生命周期以及资源的分配方式以及应用的main方法到底在哪里执行——客户端Client还是JobManager。 会话模式Session Mode
会话模式先启动一个集群保持一个会话通过客户端提交作业。集群启动时所有资源就都已经确定所以所有提交的作业会竞争集群中的资源。
会话模式比较适合于单个规模小、执行时间短的大量作业。 单作业模式(Per-Job Mode)
会话模式因为资源共享会导致很多问题所以为了更好地隔离资源我们可以考虑为每个提交的作业启动一个集群这就是所谓的单作业(Per-Job)模式。 作业完成后集群就会关闭所有资源也会释放。这些特性使得单作业模式在生产环境运行更加稳定所以是实际应用的首选模式需要注意的是Fink本身无法直接这样运行所以单作业模式一般需要借助一些资源管理框架来启动集群比如YARN、Kubernetes(K8S)。 应用模式(Application Mode)
前面提到的两种模式下应用代码都是在客户端上执行然后由客户端提交给JobManager的。但是这种方式客户端需要占用大量网络带宽去下载依赖和把二进制数据发送给JobManager加上很多情况下我们提交作业用的是同一个客户端就会加重客户端所在节点的资源消耗。
所以应用模式的解决办法就是直接把应用提交到JobManger上运行。我们需要为每一个提交的应用单独启动一个JobManager也就是创建一个集群。这个JobManager只为执行这一个应用而存在执行结束之后JobManager也就关闭了这就是所谓的应用模式。
与 Per-Job已弃用模式相比Application 模式允许提交包含多个作业的应用程序。作业执行的顺序不受部署模式的影响而是受用于启动作业的调用的影响。使用阻塞的execute() 建立一个顺序这将导致“下一个”作业的执行被推迟直到“这个”作业完成。使用非阻塞的executeAsync()将导致“下一个”作业在“此”作业完成之前开始。 运行模式资源管理模式
在了解了Flink的三种部署模式后运行Flink作业需要资源按照运行时使用资源的不同可以分为有三种Standalone运行模式、Yarn运行模式、K8S运行模式。每种运行模式中可以有不同的部署模式。 Standalone运行模式
Standalone运行模式使用Flink集群的资源来运行Flink作业。 三种部署模式中Standalone运行模式支持会话模式部署和应用模式部署不支持单作业模式部署。 会话模式部署
提前启动集群并通过Web页面/flink run命令客户端提交任务可以多个任务但是集群资源固定。
案例使用会话模式运行一个flink作业例如自己编写的WordCount作业可参考Flink WordCount实践
启动flink standalone集群
[hadoopnode2 ~]$ start-cluster.sh 在node2启动nc命令
[hadoopnode2 ~]$ nc -lk 7777
Web UI提交作业
1任务打包完成后我们打开Flink的WEB UI页面在右侧导航栏点击“Submit New Job”然后点击按钮“ Add New”选择要上传运行的JAR包如下图所示。 点击jar包名称填写主类和并行度信息
主类org.example.wc.SocketStreamWordCount
并行度1 点击Submit提交作业 测试
在nc终端发送数据
[hadoopnode2 ~]$ nc -lk 7777
hello world
查看结果 命令行提交作业
命令执行
[hadoopnode2 ~]$ flink run -m node2:8081 -c org.example.wc.SocketStreamWordCount flinkdemo-1.0-SNAPSHOT.jar 测试
[hadoopnode2 ~]$ nc -lk 7777
hello flink
在node3的Task Manager中查看到结果 注意计算的机器不固定是node3也可能在其他机器上。 在node3上命令行查看结果
[hadoopnode3 ~]$ cd $FLINK_HOME/
[hadoopnode3 flink-1.17.1]$ ls
bin conf examples lib LICENSE licenses log NOTICE opt plugins README.txt
[hadoopnode3 flink-1.17.1]$ cd log/
[hadoopnode3 log]$ ls
flink-hadoop-client-node2.log flink-hadoop-taskexecutor-0-node3.log.3
flink-hadoop-client-node3.log flink-hadoop-taskexecutor-0-node3.log.4
flink-hadoop-taskexecutor-0-node3.log flink-hadoop-taskexecutor-0-node3.log.5
flink-hadoop-taskexecutor-0-node3.log.1 flink-hadoop-taskexecutor-0-node3.out
flink-hadoop-taskexecutor-0-node3.log.2
[hadoopnode3 log]$ tail flink-hadoop-taskexecutor-0-node3.out
(hello,1)
(flink,1)应用模式部署
应用模式下不会提前创建集群所以不能调用start-cluster.sh脚本。我们可以standalone-job.sh来创建一个JobManager。
具体步骤如下
0准备工作
如果之前开启了集群进程先关闭之前开启的集群进程
[hadoopnode2 ~]$ stop-cluster.sh
如果之前没有开启集群进程则不用关闭集群。 在node2中执行以下命令启动netcat。
[hadoopnode2 ~]$ nc -lk 7777
1进入到Flink的安装路径下将应用程序的jar包放到lib/目录下。
[hadoopnode2 ~]$ mv flinkdemo-1.0-SNAPSHOT.jar $FLINK_HOME/lib/ 2启动JobManager并指定作业入口。
[hadoopnode2 ~]$ standalone-job.sh start --job-classname org.example.wc.SocketStreamWordCount
Starting standalonejob daemon on host node2.
这里我们直接指定作业入口类脚本会到lib目录扫描所有的jar包。
查看进程看到JobManager已经启动
[hadoopnode2 ~]$ jps
5061 StandaloneApplicationClusterEntryPoint
5095 Jps
3启动TaskManager
[hadoopnode2 ~]$ taskmanager.sh start
Starting taskexecutor daemon on host node2.
[hadoopnode2 ~]$ jps
5457 Jps
5061 StandaloneApplicationClusterEntryPoint
5429 TaskManagerRunner
[hadoopnode3 log]$ taskmanager.sh start
Starting taskexecutor daemon on host node3.
[hadoopnode3 log]$ jps
3105 TaskManagerRunner
3175 Jps
[hadoopnode4 log]$ taskmanager.sh start
Starting taskexecutor daemon on host node4.
[hadoopnode4 log]$ jps
2708 Jps
2637 TaskManagerRunner
注意这里在集群里所有机器node2、node3、node4都启动TaskManager也可以按需启动特定的机器作为TaskManager。 4发送单词数据
[hadoopnode2 ~]$ nc -lk 7777
hello hadoop
5在node2:8081查看结果 Yarn运行模式
使用YARN资源来运行Flink作业。
YARN上部署的过程是客户端把Flink应用提交给YARN的ResourceManagerYarn的ResourceManager根据需要分配Yarn的NodeManager上容器。在这些容器上Flink会部署JobManager和TaskManager的实例。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。 三种部署模式中YARN运行模式均支持。 1配置环境变量增加环境变量配置如下
[hadoopnode2 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#FLINK YARN MODE NEED USE HADOOP CONF
export HADOOP_CONF_DIR${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATHhadoop classpath
让环境变量生效
[hadoopnode2 ~]$ source /etc/profile 注意如果只在node2提交作业只需要在node2上执行不用分发到其他机器上如果需要在其他机器操作也需要设置。。符号表示在shell里执行命令。 2启动Hadoop集群包括HDFS和YARN。
[hadoopnode2 ~]$ start-dfs.sh
[hadoopnode3 ~]$ start-yarn.sh
3在node2中执行以下命令启动netcat。
[hadoopnode2 ~]$ nc -lk 7777
会话模式部署
YARN的会话模式与独立集群略有不同需要首先申请一个YARN会话YARN Session来启动Flink集群。
YARN Session模式作业提交流程如下 查看命令帮助
[hadoopnode2 ~]$ yarn-session.sh --help
...
省略若干日志信息输出
...
Usage:Optional-at,--applicationType arg Set a custom application type for the application on YARN-D propertyvalue use value for given property-d,--detached If present, runs the job in detached mode-h,--help Help for the Yarn session CLI.-id,--applicationId arg Attach to running YARN session-j,--jar arg Path to Flink jar file-jm,--jobManagerMemory arg Memory for JobManager Container with optional unit (default: MB)-m,--jobmanager arg Set to yarn-cluster to use YARN execution mode.-nl,--nodeLabel arg Specify YARN node label for the YARN application-nm,--name arg Set a custom name for the application on YARN-q,--query Display available YARN resources (memory, cores)-qu,--queue arg Specify YARN queue.-s,--slots arg Number of slots per TaskManager-t,--ship arg Ship files in the specified directory (t for transfer)-tm,--taskManagerMemory arg Memory per TaskManager Container with optional unit (default: MB)-yd,--yarndetached If present, runs the job in detached mode (deprecated; use non-YARN specific option instead)-z,--zookeeperNamespace arg Namespace to create the Zookeeper sub-paths for high availability mode
常用参数解读 -d分离模式如果你不想让Flink YARN客户端一直前台运行可以使用这个参数即使关掉当前对话窗口YARN session也可以后台运行。 -jm--jobManagerMemory配置JobManager所需内存默认单位MB。 -nm--name配置在YARN UI界面上显示的任务名。 -qu--queue指定YARN队列名。 -tm--taskManager配置每个TaskManager所使用内存。 启动一个YARN session
[hadoopnode2 ~]$ yarn-session.sh -nm test
...
省略部分日志输出
...
2024-04-16 17:49:09,244 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Found Web Interface node3:37102 of application application_1713260243932_0002.
JobManager Web Interface: http://node3:37102
可以看到YARN Session启动之后会给出一个YARN application ID以及一个Web UI地址http://node3:37102Web UI地址是随机的每次启动Session的Web UI地址也可能不一样。
注意flink1.17的YARN模式会自动覆盖之前standalone集群的配置。所以node3也可以作为master节点。 浏览器访问Web UI
node3:37102通过Web UI提交作业 测试
nc发送数据 Web UI查看结果 8088端口查看作业 也可以点击Tracking UI的ApplicationMaster进入Flink Web UI界面 取消作业 通过命令行提交作业
启动yarn-session
[hadoopnode2 ~]$ yarn-session.sh -nm test
...
省略部分输出
...
2024-04-16 20:30:50,602 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Found Web Interface node2:37680 of application application_1713270240854_0001.
JobManager Web Interface: http://node2:37680
查看Web UI
http://node2:37680 此时还没有可用的Task Managers和Task Slots 将Flink作业jar包上传到node3 将该任务提交到已经开启的Yarn-Session中运行。
[hadoopnode3 ~]$ flink run -c org.example.wc.SocketStreamWordCount -m node2:37680 flinkdemo-1.0-SNAPSHOT.jar 提交作业后Task Managers 变为1Total Task Slots也为1 查看正在运行的作业 测试
发送数据
[hadoopnode2 ~]$ nc -lk 7777
hello flink
hello hadoop
刷新结果 任务提交成功后可在YARN的Web UI界面查看运行情况。
node3:8088 Web UI查看结果 可以看到通过8088同样也可以查看到Flink的Web UI并能查看到作业的运行情况。 查看日志 命令查看日志
[hadoopnode3 ~]$ yarn logs -applicationId application_1713270240854_0001
[hadoopnode3 ~]$ yarn logs -applicationId application_1713270240854_0001 | tail
[hadoopnode3 ~]$ yarn logs -applicationId application_1713270240854_0001 | less 停止session 退回查看应用状态 改成是kill掉session使用命令停止session更加优雅。 重新开启一个session会话
[hadoopnode2 ~]$ yarn-session.sh -nm test -d
...
2024-04-16 21:25:21,517 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Found Web Interface node2:36883 of application application_1713270240854_0002.
JobManager Web Interface: http://node2:36883
2024-04-16 21:25:21,973 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - The Flink YARN session cluster has been started in detached mode. In order to stop Flink gracefully, use the following command:
$ echo stop | ./bin/yarn-session.sh -id application_1713270240854_0002
If this should not be possible, then you can also kill Flink via YARNs web interface or via:
$ yarn application -kill application_1713270240854_0002
Note that killing Flink might not clean up all job artifacts and temporary files.
[hadoopnode2 ~]$
输出日志中看到优雅地停止flink session的命令是
echo stop | ./bin/yarn-session.sh -id application_1713270240854_0002 查看8088端口多了一个应用application_1713270240854_0002 优雅地停止flink应用
[hadoopnode2 ~]$ echo stop | yarn-session.sh -id application_1713270240854_0002
...
2024-04-16 21:31:48,210 INFO org.apache.hadoop.yarn.client.RMProxy [] - Connecting to ResourceManager at node3/192.168.193.143:8032
2024-04-16 21:31:48,644 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Found Web Interface node2:36883 of application application_1713270240854_0002.
2024-04-16 21:31:49,765 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Deleted Yarn properties file at /tmp/.yarn-properties-hadoop
2024-04-16 21:31:49,769 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Application application_1713270240854_0002 finished with state FINISHED and final state SUCCEEDED at 1713274309726
查看作业State为FINISHEDFinalStatus为SUCCEEDED 单作业模式部署
在YARN环境中由于有了外部平台做资源调度所以我们也可以直接向YARN提交一个单独的作业从而启动一个Flink集群。 1执行命令提交作业。
在node3提交作业
[hadoopnode3 ~]$ flink run -d -t yarn-per-job -c org.example.wc.SocketStreamWordCount flinkdemo-1.0-SNAPSHOT.jar
------------------------------------------------------------The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the Deployment section of the official Apache Flink documentation.at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:372)at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:222)at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:105)at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:851)at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:245)at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1095)at org.apache.flink.client.cli.CliFrontend.lambda$mainInternal$9(CliFrontend.java:1189)at org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28)at org.apache.flink.client.cli.CliFrontend.mainInternal(CliFrontend.java:1189)at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1157)
Caused by: java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the Deployment section of the official Apache Flink documentation.
因为此前只在node2设置了环境变量所以哪台需要以单作业运行需要设置hadoop相关环境变量。
设置hadoop classpath环境变量后 再次执行
[hadoopnode3 ~]$ flink run -d -t yarn-per-job -c org.example.wc.SocketStreamWordCount flinkdemo-1.0-SNAPSHOT.jar
报错如下
2024-04-16 21:53:16,364 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Found Web Interface node2:42969 of application application_1713270240854_0003.
Job has been submitted with JobID 2da4916c92fe28098976286b72700f6c
Exception in thread Thread-5 java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library and cannot be fixed immediately, you can disable this check with the configuration classloader.check-leaked-classloader.at org.apache.flink.util.FlinkUserCodeClassLoaders$SafetyNetWrapperClassLoader.ensureInner(FlinkUserCodeClassLoaders.java:184)at org.apache.flink.util.FlinkUserCodeClassLoaders$SafetyNetWrapperClassLoader.getResource(FlinkUserCodeClassLoaders.java:208)
解决方式
方法1.配置文件flink-conf.yaml添加如下配置并分发到其他机器。
classloader.check-leaked-classloader: false 方法2.命令行设置-Dclassloader.check-leaked-classloaderfalse 这里采用方法2解决。
[hadoopnode3 ~]$ flink run -d -t yarn-per-job -c org.example.wc.SocketStreamWordCount -Dclassloader.check-leaked-classloaderfalse flinkdemo-1.0-SNAPSHOT.jar ...省略部分输出...
2024-04-16 21:58:45,827 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Cannot use kerberos delegation token manager, no valid kerberos credentials provided.
2024-04-16 21:58:45,845 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Submitting application master application_1713270240854_0004
2024-04-16 21:58:45,908 INFO org.apache.hadoop.yarn.client.api.impl.YarnClientImpl [] - Submitted application application_1713270240854_0004
2024-04-16 21:58:45,909 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Waiting for the cluster to be allocated
2024-04-16 21:58:45,911 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deploying cluster, current state ACCEPTED
2024-04-16 21:58:54,017 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - YARN application has been deployed successfully.
2024-04-16 21:58:54,018 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - The Flink YARN session cluster has been started in detached mode. In order to stop Flink gracefully, use the following command:
$ echo stop | ./bin/yarn-session.sh -id application_1713270240854_0004
If this should not be possible, then you can also kill Flink via YARNs web interface or via:
$ yarn application -kill application_1713270240854_0004
Note that killing Flink might not clean up all job artifacts and temporary files.
2024-04-16 21:58:54,019 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Found Web Interface node4:44661 of application application_1713270240854_0004.
Job has been submitted with JobID ef5ff58d20e6acc616eeb4a2c32352e5
[hadoopnode3 ~]$
点击ApplicationMaster跳到Web UI界面这里003作业可以跳过去003和004都在跑资源不够。停掉003和004然后重新启动per-job作业此时作业ID为005
点击跳转到Flink Web UI界面如下 测试
nc发送数据例如hello java 查看Web UI结果 可以使用命令行查看或取消作业
查看作业命令
[hadoopnode3 ~]$ flink list -t yarn-per-job -Dyarn.application.idapplication_1713270240854_0005 取消作业命令格式
flink cancel -t yarn-per-job -Dyarn.application.idapplication_xxxx_yy jobId
这里的application_XXXX_YY是当前应用的IDjobId是作业的ID。注意如果取消作业整个Flink集群也会停掉。
具体命令如下
flink cancel -t yarn-per-job -Dyarn.application.idapplication_1713270240854_0005 5ca1a56ec0b15b0a3f5990438dde8430 查看8088端口 应用模式部署
应用模式部署允许main()方法在JobManager上执行这样可以分担Client的压力。
应用模式与单作业模式类似直接执行flink run-application命令即可。
per-job模式命令
flink run -d -t yarn-per-job -c org.example.wc.SocketStreamWordCount -Dclassloader.check-leaked-classloaderfalse flinkdemo-1.0-SNAPSHOT.jar
应用模式命令
flink run-application -d -t yarn-application -c org.example.wc.SocketStreamWordCount -Dclassloader.check-leaked-classloaderfalse flinkdemo-1.0-SNAPSHOT.jar
区别
1.per-job是run应用模式是run-application
2.per-job -t是yarn-per-job应用模式 -t是yarn-application 执行应用模式
[hadoopnode3 ~]$ flink run-application -d -t yarn-application -c org.example.wc.SocketStreamWordCount -Dclassloader.check-leaked-classloaderfalse flinkdemo-1.0-SNAPSHOT.jar
部分日志如下 测试
nc发送数据
hello flink
查看结果 查看或取消作业命令格式
$ flink list -t yarn-application -Dyarn.application.idapplication_XXXX_YY
$ flink cancel -t yarn-application -Dyarn.application.idapplication_XXXX_YY jobId
查看作业
[hadoopnode3 ~]$ flink list -t yarn-application -Dyarn.application.idapplication_1713270240854_0006 取消作业
[hadoopnode3 ~]$ flink cancel -t yarn-application -Dyarn.application.idapplication_1713270240854_0006 c09dd8a76391a1264d3b33fec7f80266 优化
把作业需要用到的依赖、插件等资源提前上传到HDFS作业需要的资源直接从HDFS获取。
可以通过yarn.provided.lib.dirs配置选项指定位置将flink的依赖上传到远程。
1上传flink的lib和plugins到HDFS上
[hadoopnode3 ~]$ hadoop fs -mkdir /flink-dist
[hadoopnode3 ~]$ hadoop fs -put $FLINK_HOME/lib/ /flink-dist
[hadoopnode3 ~]$ hadoop fs -put $FLINK_HOME/plugins/ /flink-dist
[hadoopnode3 ~]$ hdfs dfs -ls /flink-dist
Found 2 items
drwxr-xr-x - hadoop supergroup 0 2024-04-16 22:54 /flink-dist/lib
drwxr-xr-x - hadoop supergroup 0 2024-04-16 22:54 /flink-dist/plugins
[hadoopnode3 ~]$
put操作提示
2024-04-16 22:54:59,200 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted false, remoteHostTrusted false
不用管这个提示信息。 2上传Flink作业jar包到HDFS
[hadoopnode3 ~]$ hadoop fs -mkdir /flink-jars
[hadoopnode3 ~]$ hadoop fs -put flinkdemo-1.0-SNAPSHOT.jar /flink-jars 3提交作业
[hadoopnode3 ~]$ flink run-application -t yarn-application -Dyarn.provided.lib.dirshdfs://node2:9820/flink-dist -c org.example.wc.SocketStreamWordCount hdfs://node2:9820/flink-jars/flinkdemo-1.0-SNAPSHOT.jar
这种方式下Flink本身的依赖和用户jar可以预先上传到HDFS而不需要单独发送到集群这就使得作业提交更加轻量了。 测试
nc发送数据
hello flink 查看结果 查看作业
[hadoopnode3 ~]$ flink list -t yarn-application -Dyarn.application.idapplication_1713270240854_0008 取消作业
[hadoopnode3 ~]$ flink cancel -t yarn-application -Dyarn.application.idapplication_1713270240854_0008 5656744f88b9384620d93d178859d047 K8S运行模式了解
使用K8S资源来运行Flink作业。
容器化部署是如今业界流行的一项技术基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是KubernetesK8S基本原理与YARN是类似的具体配置可以参见官网说明这里我们就不做过多讲解了。
K8S原生Session模式作业提交流程如下 完成enjoy it
