一种Spark应用监控方法、系统、设备和存储介质技术方案

本发明专利技术实施例公开了一种Spark应用监控方法、系统、设备和存储介质。该Spark应用监控方法包括：在启动Spark应用时添加预先编写的智能监控代码至所述Spark应用；在所述Spark应用运行时根据所述智能监控代码监控所述Spark应用得到监控数据，以判断所述Spark应用是否出现异常情况；若所述Spark应用出现异常情况，则记录所述异常情况并将所述异常情况的异常原因和解决方案通过邮件发送给预设账户。本发明专利技术实施例实现了Spark应用监控的智能化。

【技术实现步骤摘要】
一种Spark应用监控方法、系统、设备和存储介质
本专利技术实施例涉及计算机技术，尤其涉及一种Spark应用监控方法、系统、设备和存储介质。
技术介绍
Spark是一种大数据实时离线计算框架，Hadoop是一个分布式系统基础架构，Spark是一种与Hadoop相似的开源集群计算环境，但是Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。尽管创建Spark是为了支持分布式数据集上的迭代作业，但是实际上它是对Hadoop的补充，可以在Hadoop文件系统中并行运行。现有Spark应用监控方案主要是，通过定时轮训HadoopYarn任务池的任务，再通过设定的模板解析目标任务的状态，然后根据解析得到的状态判断是否需要重启，如果需要重启则根据预置的启动命令模板拉起任务，必要时进行系统日志的记录和短信等渠道通知。这样可以有效提高实时任务的高可用性和系统的健壮性以及任务相关的可维护性，提高大数据处于过程的健壮性，最终避免任务因为失败而等待或者重复提交，提高大数据系统资源的利用率。但是这个方法有明显的缺点和不足本文档来自技高网...

【技术保护点】
1.一种Spark应用监控方法，其特征在于，包括：/n在启动Spark应用时添加预先编写的智能监控代码至所述Spark应用；/n在所述Spark应用运行时根据所述智能监控代码监控所述Spark应用得到监控数据，以判断所述Spark应用是否出现异常情况；/n若所述Spark应用出现异常情况，则记录所述异常情况并将所述异常情况的异常原因和解决方案通过邮件发送给预设账户。/n

【技术特征摘要】
1.一种Spark应用监控方法，其特征在于，包括：
在启动Spark应用时添加预先编写的智能监控代码至所述Spark应用；
在所述Spark应用运行时根据所述智能监控代码监控所述Spark应用得到监控数据，以判断所述Spark应用是否出现异常情况；
若所述Spark应用出现异常情况，则记录所述异常情况并将所述异常情况的异常原因和解决方案通过邮件发送给预设账户。


2.根据权利要求1所述的方法，其特征在于，所述监控所述Spark应用得到监控数据，以判断所述Spark应用是否出现异常情况包括：
监控所述Spark应用的阻塞延迟任务以得到所述阻塞延迟任务数量；
判断所述阻塞延迟任务数量是否大于第一阈值；
若所述阻塞延迟任务数量大于第一阈值，则所述Spark应用出现异常情况。


3.根据权利要求1所述的方法，其特征在于，所述监控所述Spark应用得到监控数据，以判断所述Spark应用是否出现异常情况还包括：
监控所述Spark应用的重点Spark源码段、Spark用户代码段和Spark监听器总线以得到重点程序代码耗时；
判断所述重点程序代码耗时是否大于第二阈值；
若所述重点程序代码耗时大于第二阈值，则所述Spark应用出现异常情况。


4.根据权利要求1所述的方法，其特征在于，所述在启动Spark应用时添加预先编写的智能监控代码至所述Spark应用包括：
判断是否需要开启智能监控；
若需要开启所述智能监控，在启动Spark应用时添加预先编写的智能监控代码至所述Spark应用。


5.根据权利要求4所述的方法，其特征在于，所述判断是否需要开启智能监控之后包括：
若不需要开启所述智能监控，在所述Spark应用运行时轮询HadoopYarn任务池以判断所述HadoopYarn任务池中是否存在所述Spark应用的任务进程；
若所述HadoopYarn任务池中不...

【专利技术属性】
技术研发人员：刘明，
申请(专利权)人：深圳市卡数科技有限公司，
类型：发明
国别省市：广东;44