wordpress的x站模板,公众号开发是什么,早晨设计 做网站设计吗,wordpress 导航栏在哪里http://localhost:4040/jobs/
在顶部导航栏上#xff0c;可以点击以下选项来查看不同类型的Spark应用信息#xff1a;
Jobs - 此视图将列出所有已提交的作业#xff0c;并提供每个作业的详细信息#xff0c;如作业ID、名称、开始时间、结束时间等。Stages - 此视图可以查…
http://localhost:4040/jobs/
在顶部导航栏上可以点击以下选项来查看不同类型的Spark应用信息
Jobs - 此视图将列出所有已提交的作业并提供每个作业的详细信息如作业ID、名称、开始时间、结束时间等。Stages - 此视图可以查看作业分解成的不同阶段包括每个阶段的任务数、当前状态等。Storage - 此视图展示了数据如何在RDDs弹性分布式数据集之间进行分层存储以及它们的缓存状态。Environment - 此视图列出了与Spark应用程序相关的环境变量和配置参数。Executors - 此视图提供了关于执行器的详细信息包括内存使用情况、磁盘使用情况、任务统计等。 Apache Spark UI中的Executors页面该页面提供了关于Spark应用程序中执行器的详细信息。执行器是Spark应用程序中负责执行任务的进程。以下是页面上各部分的介绍
Summary
RDD Blocks: 当前存储在执行器上的RDD块数量。Storage Memory: 执行器上用于存储的内存总量以及当前已使用的存储内存。Disk Used: 执行器上用于存储的磁盘空间总量以及当前已使用的磁盘空间。Cores: 执行器上可用的CPU核心数。Active Tasks: 当前正在执行的任务数量。Failed Tasks: 已经失败的任务数量。Complete Tasks: 已经完成的任务数量。Total Tasks: 执行器上总共处理的任务数量。Task Time (GC Time): 执行器上所有任务的总执行时间以及其中的垃圾回收时间。Input: 任务处理的输入数据量。Shuffle Read: 任务执行期间从其他执行器读取的shuffle数据量。Shuffle Write: 任务执行期间写入的shuffle数据量。Excluded: 被排除的执行器数量。
Executors
Executor ID: 执行器的唯一标识符。Address: 执行器的网络地址。Status: 执行器的状态如Active活跃或Dead已死。RDD Blocks: 执行器上存储的RDD块数量。Storage Memory: 执行器上用于存储的内存总量以及当前已使用的存储内存。Disk Used: 执行器上用于存储的磁盘空间总量以及当前已使用的磁盘空间。Cores: 执行器上可用的CPU核心数。Active Tasks: 当前正在执行的任务数量。Failed Tasks: 已经失败的任务数量。Complete Tasks: 已经完成的任务数量。Total Tasks: 执行器上总共处理的任务数量。Task Time (GC Time): 执行器上所有任务的总执行时间以及其中的垃圾回收时间。Input: 任务处理的输入数据量。Shuffle Read: 任务执行期间从其他执行器读取的shuffle数据量。Shuffle Write: 任务执行期间写入的shuffle数据量。Thread Dump: 提供执行器的线程转储链接。Heap Histogram: 提供执行器的堆内存使用情况的直方图链接。Add Time: 执行器被添加到集群的时间。Remove Time: 执行器从集群中移除的时间。
这个页面对于监控和调试Spark应用程序非常有用因为它提供了关于执行器资源使用情况、任务状态和性能的详细信息。
