【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种基于flink的任务告警方法、设备及存储介质。
技术介绍
1、随着数据处理的发展，apache flink作为一个流处理和批处理框架，提供了强大的分布式计算能力和容错性。而flink作业是由一系列任务组成的数据处理流程。每个任务都由一个或多个算子组成的，算子是数据转换或计算的核心组件。flink作业的执行是分布式的，可以在多个计算节点上并执行任务，以实现高吞吐量和低延迟的数据处理，因此保证flink作业的正常稳定运行成为一个具有应用前景的方向。
2、在现有技术中，业内对flink作业的监控告警方面做了许多工作，但关注的监控项主要是系统指标和业务指标，例如作业持续运行的时间、作业重启的次数、系统负载、内存、网络排查以及与作业状态相关的包括作业是否故障、作业是否存活、作业是否稳定运行、影响作业可用性的危险因素，进而实现了对作业可用性的指标的监控并排查作业的故障信息。
3、由于现有技术中对flink作业主要涉及系统指标和业务指标的监控，当flink任务挂掉将会导致整个作业处于不可用状态，数据处于无下发、断传状态，同时作业故障时间越久，flink作业积压的数据量越大，待作业恢复后，积压的flink作业导致更多的资源消耗和时间消耗。同时重复作业任务的下发影响下游业务数据的正常接收，因此现有技术存在flink任务故障发生率高的技术问题。
技术实现思路
1、本申请提供一种基于flink的任务告警方法、设备及存储介质，用以解决现有技术存在fl
2、第一方面，本申请提供一种基于flink的任务告警方法，该方法包括：
3、基于flink获取第一任务的任务信息；其中，任务信息包括多个任务字段的字段值；
4、基于多个任务字段的字段值从第一任务中确定出处于运行中的第二任务；
5、基于预设接口获取第二任务的实时状态，并从第二任务中确定出失活的第三任务，生成第三任务对应的预警信息。
6、可选地，在从第二任务中确定出失活的第三任务之前包括调用stream park平台采集第二任务对应的任务责任人、所属团队和任务编号，从第二任务中确定出失活的第三任务，生成第三任务对应的预警信息，包括：
7、从第二任务中确定出失活的第三任务，获取第三任务的日志信息、报错信息；
8、基于第三任务的日志信息、报错信息和/或任务信息确定第一目标清单，基于第一目标清单生成预警信息，并基于任务责任人、所属团队和任务编号发送预警信息。
9、可选地，第二任务中确定出失活的第三任务，生成第三任务对应的预警信息之后，包括：
10、基于第三任务的报错信息和/或任务信息确定第二目标清单；其中，第二目标清单包括第三任务中由于内存溢出失活的第四任务；
11、在生成第三任务对应的预警信息之后，调用stream park平台相应的停用接口、编辑配置接口和启动任务接口对第二目标清单中的第四任务进行校正。
12、可选地，基于flink获取第一任务的任务信息，包括：
13、基于flink获取第一任务的任务编号、任务名称、任务用户、任务应用程序类型、任务状态和/或任务时间。
14、可选地，基于多个第一任务字段的字段值从第一任务中确定出处于运行中的第二任务，包括：
15、基于多个第一任务字段的字段值确定第一任务的任务名称、任务时间、运行状态；
16、基于任务名称将第一任务分为多个任务小组；
17、基于任务时间对多个任务小组分别进行排序，并基于排序后的任务小组确定任务状态为运行中的第二任务。
18、可选地，在基于排序后的任务小组确定任务状态为运行中的第二任务之后，包括：
19、在任务小组中任务状态为运行中的第二任务数量大于1时，基于任务时间确定冗余任务清单；
20、调用stream park平台相应的停用接口对冗余任务清单中的第二任务进行校正。
21、可选地，基于预设接口获取第二任务的实时状态，包括：
22、基于表现层状态转化rest api接口从第二任务对应的作业管理系统flinkjobmanager或任务管理系统taskmanager中获取第二任务的实时状态。
23、第二方面，本申请提供一种基于flink的任务告警设备，包括：
24、第一获取模块，用于基于flink获取第一任务的任务信息；其中，任务信息包括多个任务字段的字段值；
25、处理模块，用于基于多个任务字段的字段值从第一任务中确定出处于运行中的第二任务；
26、第二获取模块，基于预设接口获取第二任务的实时状态，并从第二任务中确定出失活的第三任务，生成第三任务对应的预警信息。
27、可选地，第一处理模块还用于：
28、基于flink获取第一任务的任务编号、任务名称、任务用户、任务应用程序类型、任务状态和/或任务时间。
29、可选地，处理模块还用于：
30、基于多个第一任务字段的字段值确定第一任务的任务名称、任务时间、运行状态；
31、基于任务名称将第一任务分为多个任务小组；
32、基于任务时间对多个任务小组分别进行排序，并基于排序后的任务小组确定任务状态为运行中的第二任务。
33、可选地，处理模块还用于：
34、在任务小组中任务状态为运行中的第二任务数量大于1时，基于任务时间确定冗余任务清单；
35、调用stream park平台相应的停用接口对冗余任务清单中的第二任务进行校正。
36、可选地，第二获取模块还用于：
37、基于表现层状态转化rest api接口从第二任务对应的作业管理系统flinkjobmanager或任务管理系统taskmanager中获取第二任务的实时状态。
38、可选地，第二获取模块还用于：
39、调用stream park平台采集第二任务对应的任务责任人、所属团队和任务编号；
40、从第二任务中确定出失活的第三任务，获取第三任务的日志信息、报错信息；
41、基于第三任务的日志信息、报错信息和/或任务信息确定第一目标清单，基于第一目标清单生成预警信息，并基于任务责任人、所属团队和任务编号发送预警信息。
42、可选地，第二获取模块还用于：
43、基于第三任务的报错信息和/或任务信息确定第二目标清单；其中，第二目标清单包括第三任务中由于内存溢出失活的第四任务；
44、在生成第三任务对应的预警信息之后，调用stream park平台相应的停用接口、编辑配置接口和启动任务接口对第二目标清单中的第四任务进行校正。
45、第三方面，本申请提供了一种基于flink的任务告警设备，包括：
46、处理器和存储器；
本文档来自技高网...【技术保护点】
1.一种基于Flink的任务告警方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述从所述第二任务中确定出失活的第三任务之前包括调用Stream Park平台采集所述第二任务对应的任务责任人、所属团队和任务编号，所述从所述第二任务中确定出失活的第三任务，生成所述第三任务对应的预警信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述Flink获取第一任务的任务信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于多个所述第一任务字段的所述字段值从所述第一任务中确定出处于运行中的第二任务，包括：
6.根据权利要求5所述的方法，其特征在于，在所述基于排序后的所述任务小组确定所述任务状态为运行中的所述第二任务之后，还包括：
7.根据权利要求1所述的方法，其特征在于，所述基于预设接口获取所述第二任务的实时状态，包括：
8.一种基于Flink的任务告警设备，其特征在于，包括：
9.一种基于F
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的基于Flink的任务告警方法。
...【技术特征摘要】
1.一种基于flink的任务告警方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述从所述第二任务中确定出失活的第三任务之前包括调用stream park平台采集所述第二任务对应的任务责任人、所属团队和任务编号，所述从所述第二任务中确定出失活的第三任务，生成所述第三任务对应的预警信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述flink获取第一任务的任务信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于多个所述第一任务字段的所述字段值从所述第一任务中确定...
【专利技术属性】
技术研发人员：姜雨彤，穆纯进，王云朋，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。